Linux үчүн Intel AI Analytics Toolkit

Продукт маалыматы

AI комплекти - бул машина үйрөнүү жана терең үйрөнүү долбоорлору үчүн бир нече конда чөйрөсүн камтыган инструмент. Ал TensorFlow, PyTorch жана Intel oneCCL Bindings үчүн чөйрөлөрдү камтыйт. Бул колдонуучуларга чөйрө өзгөрмөлөрүн орнотуу, пакеттерди кошуу үчүн Conda колдонуу, графикалык драйверлерди орнотуу жана hangcheckти өчүрүү аркылуу системаларын конфигурациялоого мүмкүндүк берет. Куралдар топтомун Command Line Interface (CLI) менен колдонсо болот жана эч кандай атайын өзгөртүүлөрсүз эле учурдагы долбоорлорго оңой интеграцияланышы мүмкүн.

Продукт колдонуу

1. Улантуудан мурун чөйрө өзгөрмөлөрүн коюу менен тутумуңузду конфигурациялаңыз.
2. Command Line Interface (CLI) менен иштөө үчүн, setvars.sh скриптин чөйрө өзгөрмөлөрү аркылуу oneAPI куралдар топтомундагы куралдарды конфигурациялоо үчүн колдонуңуз. Сиз setvars.sh скриптин бир сессияда бир жолу же жаңы терминал терезесин ачкан сайын таба аласыз. setvars.sh скриптин oneAPI орнотууңуздун түпкү папкасынан тапса болот.
3. "conda activate" буйругу аркылуу керек болгон ар кандай конда чөйрөлөрүн иштетиңиз ”. AI Kit TensorFlow (CPU) үчүн конда чөйрөлөрүн камтыйт, S үчүн Intel Extension менен TensorFlowample TensorFlow (GPU), PyTorch үчүн Intel кеңейтүүсү менен PyTorch (XPU) жана PyTorch үчүн Intel oneCCL байланыштары (CPU).
4. Ар бир чөйрөгө байланыштуу Баштоо Сampле ар бир чөйрөнү кантип колдонуу керектиги жөнүндө көбүрөөк маалымат алуу үчүн колдонуучу нускамасында берилген таблицада шилтемеленген.

Төмөнкү нускамалар сиз Intel® oneAPI программасын орнотту деп болжолдойт. Орнотуу параметрлери үчүн Intel AI Analytics Toolkit барагын караңыз. катары куруу жана иштетүү үчүн бул кадамдарды аткарыңызampIntel® AI Analytics Toolkit (AI Kit) менен:

1. Системаңызды конфигурациялаңыз.
2. S куруу жана иштетүүample.

ЭСКЕРТҮҮ: Стандарттык Python орнотуулары AI комплектине толугу менен шайкеш келет, бирок Python үчүн Intel® Distribution* артыкчылыктуу.
Бул инструменттер топтому менен аларды колдонууну баштоо үчүн учурдагы долбоорлоруңузга эч кандай өзгөчө өзгөртүүлөрдү киргизүү талап кылынбайт.

Бул куралдын компоненттери

AI Kit камтыйт

• PyTorch үчүн Intel® оптималдаштыруу*: Intel® oneAPI Deep Neural Network Library (oneDNN) терең үйрөнүү үчүн демейки математикалык өзөк китепканасы катары PyTorchке киргизилген.
• PyTorch үчүн Intel® Extension: PyTorch үчүн Intel® Extension* PyTorch* мүмкүнчүлүктөрүн Intel аппараттык жабдыктарынын иштешин кошумча жогорулатуу үчүн заманбап мүмкүнчүлүктөр жана оптималдаштыруулар менен кеңейтет.
• TensorFlow* үчүн Intel® оптималдаштыруу: Бул версия тездетилген аткаруу үчүн oneDNN'ден TensorFlow иштөө убактысына примитивдерди бириктирет.
• TensorFlow үчүн Intel® Extension: TensorFlow үчүн Intel® Extension* бул TensorFlow PluggableDevice интерфейсине негизделген гетерогендүү, жогорку натыйжалуу терең үйрөнүү кеңейтүү плагини. Бул кеңейтүү плагини Intel XPU (GPU, CPU ж.б.) түзмөктөрүн AI жумуш жүгүн тездетүү үчүн TensorFlow ачык булак коомчулугуна алып келет.
• Python үчүн Intel® Distribution*: Кодуңузга минималдуу же эч кандай өзгөртүүлөрдү киргизүү менен Python тиркемесинин тезирээк иштешине ээ болуңуз. Бул бөлүштүрүү Intel® OneAPI Математикалык ядро ​​китепканасы жана Intel®oneAPI Маалымат Аналитика китепканасы сыяктуу Intel® Performance Libraries менен интеграцияланган.
• Intel® Distribution of Modin* (Anaconda аркылуу гана жеткиликтүү), бул сизге пандаларга окшош API менен бул интеллектуалдык, бөлүштүрүлгөн маалымат фрейм китепканасын колдонуу менен көп түйүндөрдө алдын ала иштетүүнү кынтыксыз масштабдатууга мүмкүндүк берет. Бул бөлүштүрүү Intel® AI Analytics Toolkitти Conda* Package Manager менен орнотуу аркылуу гана жеткиликтүү.
• Intel® Нейрондук Компрессор: TensorFlow*, PyTorch*, MXNet* жана ONNX* (Ачык Нейрондук Тармак алмашуу) иштөө убактысы сыяктуу популярдуу терең үйрөнүү алкактарында төмөн тактыктагы корутунду чечимдерин тез жайгаштырыңыз.
• Intel® Extension for Scikit-learn*: Intel® oneAPI Data Analytics Library (oneDAL) аркылуу Scikit-learn тиркемеңизди тездетүүнүн кемчиликсиз жолу.
  Patching scikit-learn аны чыныгы жашоодогу көйгөйлөр менен күрөшүү үчүн ылайыктуу машина үйрөнүү негизине айлантат.
• Intel тарабынан оптималдаштырылган XGBoost: Бул градиент менен күчөтүлгөн чечим дарактары үчүн белгилүү машинаны үйрөнүү пакети моделди окутууну кыйла тездетүү жана жакшыраак божомолдор үчүн тактыкты жакшыртуу үчүн Intel® архитектуралары үчүн үзгүлтүксүз, тездетүүнү камтыйт.

Системаңызды конфигурациялаңыз – Intel® AI Analytics Toolkit

Эгерде сиз AI Analytics Toolkitти орното элек болсоңуз, анда Intel® AI Analytics Toolkit орнотуусун караңыз. Улантуудан мурун тутумуңузду конфигурациялоо үчүн чөйрө өзгөрмөлөрүн орнотуңуз.

 

CLI өнүктүрүү үчүн чөйрө өзгөрмөлөрүн коюу
Command Line Interface (CLI) менен иштөө үчүн, oneAPI инструменттер топтомундагы инструменттер аркылуу конфигурацияланат.
чөйрө өзгөрмөлөрү. Setvars скриптинин булагы аркылуу чөйрө өзгөрмөлөрүн коюу үчүн:

1-вариант: Булак setvars.sh сессиясына бир жолу
Жаңы терминал терезесин ачкан сайын setvars.sh булагы:

setvars.sh скриптин oneAPI орнотууңуздун түпкү папкасынан таба аласыз, ал адатта системанын кеңири орнотуулары үчүн /opt/intel/oneapi/ жана жеке орнотуулар үчүн ~/intel/oneapi/.

Системанын кеңири орнотуулары үчүн (тамыр же sudo артыкчылыктарын талап кылат):

• . /opt/intel/oneapi/setvars.sh

Жеке орнотуулар үчүн:

• . ~/intel/oneapi/setvars.sh

2-вариант: setvars.sh үчүн бир жолу орнотуу
Долбооруңуз үчүн чөйрө автоматтык түрдө орнотулушу үчүн, буйрук булагын кошуңуз
/setvars.sh баштоо скриптинде, ал автоматтык түрдө чакырылат (алмаштыруу
oneAPI орнотулган жерге баруучу жол менен). Демейки орнотуу жерлери /opt/
intel/oneapi/ системалык кеңири орнотуулар үчүн (тамыр же sudo артыкчылыктарын талап кылат) жана жеке орнотуулар үчүн ~/intel/oneapi/.
Мисалы үчүнample, сиз булакты кошо аласыз /setvars.sh буйругуңузга ~/.bashrc же ~/.bashrc_profile же ~/.profile file. Тутумуңуздагы бардык каттоо эсептери үчүн орнотууларды туруктуу кылуу үчүн, тутумуңуздун /etc/pro ичинде бир саптык .sh скриптин түзүңүз.filesetvars.sh булагы болгон .d папкасы (көбүрөөк маалымат үчүн, Айлана-чөйрө өзгөрмөлөрү боюнча Ubuntu документтерин караңыз).

ЭСКЕРТҮҮ
setvars.sh скриптин конфигурациянын жардамы менен башкарса болот file, бул өзгөчө "акыркы" версияга эмес, китепканалардын же компилятордун белгилүү версияларын инициализациялоо керек болсо пайдалуу. Көбүрөөк маалымат алуу үчүн Конфигурацияны колдонуу караңыз File Setvars.sh. башкарууга. Эгер сиз POSIX эмес кабыкчада чөйрөнү жөндөшүңүз керек болсо, конфигурациянын көбүрөөк варианттары үчүн караңыз: OneAPI Өнүгүү чөйрөсүн орнотуу.

Кийинки кадамдар

• Эгер сиз Condaны колдонбосоңуз же GPU үчүн иштеп жатпасаңыз, S түзүңүз жана иштетиңизample Project.
• Conda колдонуучулары үчүн кийинки бөлүмгө өтүңүз.
• GPUде иштеп чыгуу үчүн GPU колдонуучуларына өтүңүз

Бул куралдар топтомундагы Conda чөйрөлөрү
AI комплектине кирген бир нече конда чөйрөлөрү бар. Ар бир чөйрө төмөнкү таблицада сүрөттөлгөн. Мурда айтылгандай CLI чөйрөсүнө чөйрө өзгөрмөлөрүн орноткондон кийин, сиз төмөнкү буйрук аркылуу зарыл болгон ар кандай конда чөйрөлөрүн активдештире аласыз:

• иштетүү

Көбүрөөк маалымат алуу үчүн, сураныч, ар бир чөйрөгө байланыштуу Баштоо Сample төмөнкү таблицада шилтемеленген.

Түпкү эмес колдонуучу катары пакеттерди кошуу үчүн Conda Clone функциясын колдонуңуз
Intel AI Analytics инструменттери oneapi папкасында орнотулган, аны башкаруу үчүн тамыр артыкчылыктары талап кылынат. Сиз Conda* аркылуу жаңы топтомдорду кошуп, тейлөөнү кааласаңыз болот, бирок аны тамырга кирүү мүмкүнчүлүгү жок кыла албайсыз. Же болбосо, сизде тамырга кирүү мүмкүнчүлүгү бар, бирок Conda иштетилген сайын тамыр сырсөзүн киргизгиңиз келбейт.

Айлана-чөйрөңүздү тамыр мүмкүнчүлүгүн колдонбостон башкаруу үчүн, /opt/intel/oneapi/ папкасынан тышкаркы папкага керектүү пакеттерди клондоо үчүн Conda клонунун функциясын колдонуңуз:

1. Сиз setvars.sh иштеткен ошол эле терминал терезесинен тутумуңуздагы Conda чөйрөлөрүн аныктаңыз:
   • conda env тизмеси
     Сиз ушуга окшош натыйжаларды көрөсүз:
2. Айлана-чөйрөнү жаңы папкага клондоо үчүн клондоо функциясын колдонуңуз. мурдагыample төмөндө, жаңы чөйрө usr_intelpython деп аталат жана клондолуп жаткан чөйрө база деп аталат (жогорку сүрөттө көрсөтүлгөндөй).
   • conda түзүү –атоо usr_intelpython –клондук база
     Клон чоо-жайы пайда болот:

1. Пакеттерди кошуу мүмкүнчүлүгүн иштетүү үчүн жаңы чөйрөнү иштетиңиз. usr_intelpython иштетиңиз
2. Жаңы чөйрө активдүү экенин текшериңиз. conda env тизмеси
   Сиз азыр Python үчүн Intel Distribution үчүн Conda чөйрөсүн колдонуу менен иштеп чыга аласыз.
3. TensorFlow* же PyTorch* чөйрөсүн иштетүү үчүн:

TensorFlow

• тензор агымын активдештирет

PyTorch

• Питорчту активдештирүү

Кийинки кадамдар

• Эгер сиз GPU үчүн иштеп жатпасаңыз, S түзүңүз жана иштетиңизample Project.
• GPUде иштеп чыгуу үчүн, GPU колдонуучуларына өтүңүз.

GPU колдонуучулары
GPUде иштеп жаткандар үчүн төмөнкү кадамдарды аткарыңыз:

GPU драйверлерин орнотуу
Эгер сиз GPU драйверлерин орнотуу үчүн Орнотуу колдонмосундагы нускамаларды аткарсаңыз, бул кадамды өткөрүп жиберсеңиз болот. Эгер сиз драйверлерди орното элек болсоңуз, Орнотуу колдонмосундагы көрсөтмөлөрдү аткарыңыз.

Видео тобуна колдонуучу кошуу
GPU эсептөө жүктөөлөрү үчүн, тамыр эмес (нормалдуу) колдонуучулар, адатта, GPU түзмөгүнө кире алышпайт. Кадимки колдонуучу(ларыңызды) видео тобуна кошууну унутпаңыз; антпесе, GPU түзмөгү үчүн түзүлгөн бинардык файлдар кадимки колдонуучу тарабынан аткарылганда ишке ашпай калат. Бул көйгөйдү чечүү үчүн, видео тобуна root эмес колдонуучуну кошуңуз:

• sudo usermod -a -G видео

Hangcheckти өчүрүү
Түпкү чөйрөлөрдө узакка созулган GPU эсептөө жүктөмдөрү бар колдонмолор үчүн hangcheckти өчүрүңүз. Бул виртуалдаштыруу же оюн сыяктуу GPU'нун башка стандарттуу колдонулушу үчүн сунушталбайт.

GPU жабдыктарын аткаруу үчүн төрт секунддан ашык убакыт талап кылынган жумуш жүгү узакка созулган жумуш жүгү болуп саналат. Демейки боюнча, узакка созулган жумуш жүгү катары талап кылынган жеке жиптер илинген деп эсептелет жана токтотулат. Hangcheck күтүү мөөнөтүн өчүрүү менен, сиз бул көйгөйдөн кутула аласыз.

ЭСКЕРТҮҮ: Эгер ядро ​​жаңыртылган болсо, hangcheck автоматтык түрдө иштетилет. Hangcheck өчүрүлгөнүн текшерүү үчүн ар бир ядро ​​жаңыртылгандан кийин төмөндөгү процедураны аткарыңыз.

1. Терминалды ачыңыз.
2. Топту ач file /etc/default ичинде.
3. Топто file, GRUB_CMDLINE_LINUX_DEFAULT=”” сабын табыңыз.
4. Бул текстти тырмакчалардын арасына киргизиңиз («»):
5. Бул буйрукту иштетиңиз:
   sudo update-grub
6. Системаны кайра жүктөө. Hangcheck өчүрүлгөн бойдон калууда.

Кийинки кадам
Эми сиз тутумуңузду конфигурациялагандан кийин, S түзүүгө жана иштетүүгө өтүңүзample Project.

S куруу жана иштетүүample Буйрук сабын колдонуу

Intel® AI Analytics Toolkit
Бул бөлүмдө сиз долбоорлорду куруу процесси менен таанышуу үчүн жөнөкөй “Салам дүйнө” долбоорун иштетесиз, андан кийин өзүңүздүн долбооруңузду түзөсүз.

ЭСКЕРТҮҮ: Эгерде сиз иштеп чыгуу чөйрөңүздү конфигурациялай элек болсоңуз, системаңызды конфигурациялоо бөлүмүнө өтүп, андан кийин бул баракка кайтыңыз. Эгер сиз системаңызды конфигурациялоо кадамдарын мурунтан эле бүтүргөн болсоңуз, төмөндөгү кадамдарды улантыңыз.

Буйрук сабынан иштөөдө терминал терезесин же Visual Studio Code* колдоно аласыз. VS кодун локалдык түрдө кантип колдонуу керектиги боюнча чоо-жайын көрүү үчүн, Linux'та oneAPI менен Visual Studio кодунун негизги колдонулушун караңыз*. VS кодун алыстан колдонуу үчүн, Linux* боюнча oneAPI менен Remote Visual Studio Code өнүктүрүүнү караңыз.

S куруу жана иштетүүample Project
Сamps түзүүдөн мурун төмөндөгү les системаңызга клондолушу керекampпроект:

CMakeди колдогон компоненттердин тизмесин көрүү үчүн, CMakeди oneAPI Тиркемелери менен колдонууну караңыз.

Өзүңүздүн Долбооруңузду Куруңуз
Учурдагы Python долбоорлоруңузга эч кандай атайын өзгөртүүлөр, аларды бул инструменттер топтому менен колдонууну баштоо үчүн талап кылынбайт. Жаңы долбоорлор үчүн процесс s түзүү үчүн колдонулган процессти тыкыр ээрчийтample Hello World долбоорлору. Hello World READMEге кайрылыңыз files көрсөтмөлөр үчүн.

Максималдуу аткаруу
Сиз TensorFlow же PyTorch үчүн натыйжалуулугун жогорулатууга жардам берүү үчүн документтерди ала аласыз.

Өзүңүздүн чөйрөңүздү конфигурациялаңыз

ЭСКЕРТҮҮ: Эгер виртуалдык чөйрөңүз жеткиликтүү болбосо же виртуалдык чөйрөңүзгө топтомдорду кошкуңуз келсе, тамыр эмес колдонуучу катары пакеттерди кошуу үчүн Conda Clone функциясын колдонуу бөлүмүндөгү кадамдарды аткарганыңызды текшериңиз.

Эгер сиз контейнерден тышкары иштеп жатсаңыз, Python* үчүн Intel® Distribution колдонуу үчүн төмөнкү скрипт булагы:

• • /setvars.sh
• кайда Бул инструменттер топтомун орноткон жериңиз. Демейки боюнча орнотуу каталогу:
• Root же sudo орнотуулары: /opt/intel/oneapi
• Жергиликтүү колдонуучунун орнотуулары: ~/intel/oneapi

ЭСКЕРТҮҮ: setvars.sh скриптин конфигурация аркылуу башкарууга болот file, бул өзгөчө "акыркы" версияга эмес, китепканалардын же компилятордун белгилүү версияларын инициализациялоо керек болсо пайдалуу. Көбүрөөк маалымат алуу үчүн Конфигурацияны колдонуу караңыз File Setvars.sh башкарууга. Эгер сиз POSIX эмес кабыкча чөйрөнү орнотуу керек болсо, конфигурациянын көбүрөөк варианттары үчүн oneAPI Өнүгүү чөйрөсүн орнотууну караңыз.

Айлана-чөйрөнү алмаштыруу үчүн, адегенде активдүү чөйрөнү өчүрүшүңүз керек.
Кийинки эксample чөйрөнү конфигурациялоону, TensorFlow* жандырууну жана андан кийин Python үчүн Intel Distribution'ка кайтууну көрсөтөт:

Контейнерди жүктөп алыңыз

Intel® AI Analytics Toolkit
Контейнерлер oneAPI тиркемелерин куруу, иштетүү жана профилдөө үчүн чөйрөлөрдү орнотууга жана конфигурациялоого жана аларды сүрөттөр аркылуу таратууга мүмкүндүк берет:

• Сиз бардык керектүү куралдар менен алдын ала конфигурацияланган чөйрөнү камтыган сүрөттү орнотуп, андан кийин ошол чөйрөдө иштеп чыксаңыз болот.
• Сиз айлана-чөйрөнү сактап, сүрөттү кошумча орнотуусуз башка машинага жылдыруу үчүн колдоно аласыз.
• Зарылчылыкка жараша ар кандай тилдер жана иштөө убакыттары, талдоо куралдары же башка куралдар менен контейнерлерди даярдай аласыз.

Docker* сүрөтүн жүктөп алыңыз
Контейнерлер репозиторийинен Docker* сүрөтүн жүктөп алсаңыз болот.

ЭСКЕРТҮҮ: Docker сүрөтү ~5 ГБ жана жүктөп алуу үчүн ~15 мүнөт талап кылынышы мүмкүн. Бул 25 ГБ диск мейкиндигин талап кылат.

1. Сүрөттү аныктаңыз:
   image=intel/oneapi-aikit докер “$image” тартуу
2. Сүрөттү тартыңыз.
   докер "$image" тартуу

Сүрөтүңүз жүктөлүп алынгандан кийин, Буйрук сабы менен контейнерлерди колдонууга өтүңүз.

Буйрук сабы менен контейнерлерди колдонуу
Intel® AI Analytics Toolkit Алдын ала жасалган контейнерлерди түздөн-түз жүктөп алыңыз. CPU үчүн төмөндөгү буйрук сизди контейнердин ичинде, интерактивдүү режимде буйрук сабында калтырат.

CPU
image=intel/oneapi-aikit докер иштетүү -it “$image”

Контейнерлер менен Intel® Advisor, Intel® Inspector же VTune™ колдонуу
Бул куралдарды колдонууда контейнерге кошумча мүмкүнчүлүктөр берилиши керек: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE

• docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it “$image”

Cloud CI системаларын колдонуу

Cloud CI системалары программаңызды автоматтык түрдө курууга жана сыноого мүмкүндүк берет. Экс үчүн githubдагы репо караңызampконфигурациялары fileпопулярдуу булут CI системалары үчүн oneAPI колдонгон с.

Intel® AI Analytics Toolkit үчүн көйгөйлөрдү чечүү

Эскертүүлөр жана баш тартуулар

Intel технологиялары иштетилген жабдык, программалык камсыздоо же кызматты активдештирүүнү талап кылышы мүмкүн. Эч бир продукт же компонент толугу менен коопсуз боло албайт.
Сиздин чыгымдарыңыз жана натыйжаларыңыз ар кандай болушу мүмкүн.

© Intel Corporation. Intel, Intel логотиби жана башка Intel белгилери Intel корпорациясынын же анын туунду компанияларынын соода белгилери болуп саналат. Башка аталыштар жана бренддер башкалардын менчиги катары талап кылынышы мүмкүн.

Продукт жана аткаруу маалыматы

Өндүрүмдүүлүк колдонууга, конфигурацияга жана башка факторлорго жараша өзгөрөт. Көбүрөөк маалымат алуу www.Intel.com/PerformanceIndex.
№20201201 версиясына эскертүү

Бул документ тарабынан эч кандай интеллектуалдык менчик укуктарына эч кандай лицензия (экстоппел же башка жол менен ачык же кыйыр түрдө) берилбейт. Сүрөттөлгөн өнүмдөр дизайн кемчиликтерин же ката деп аталган каталарды камтышы мүмкүн, алар продукттун жарыяланган спецификациялардан четтеп кетишине алып келиши мүмкүн. Учурдагы мүнөздөлгөн каталар суроо-талабы боюнча жеткиликтүү.

Intel бардык ачык жана кыйыр кепилдиктерден баш тартат, анын ичинде чектөөсүз, сатууга жарамдуулугун, белгилүү бир максатка ылайыктуулугун жана укук бузууга жол бербөө кепилдиктерин, ошондой эле аткаруунун жүрүшүнөн, сооданын жүрүшүнөн же соодада колдонуудан келип чыккан ар кандай кепилдиктер.

Документтер / Ресурстар

Linux үчүн Intel AI Analytics Toolkit [pdf] Колдонуучунун колдонмосу Linux үчүн AI Analytics Toolkit, AI Analytics Toolkit, Linux үчүн Analytics Toolkit, Analytics Toolkit, Toolkit

Шилтемелер

• User Manual