Linux пайдаланушы нұсқаулығына арналған Intel oneAPI DL Framework әзірлеушілерінің құралдар жинағы

oneDNN және oneCCL s пайдаланғыңыз келсеampорнату керек Intel® oneAPI негізгі құралдар жинағы. Негізгі жинақта барлық қажетті тәуелділіктері бар барлық Intel® oneAPI DL Framework Developer Toolkit (DLFD Kit) құрамдастары бар.

Егер сіз DL DevKit кітапханаларын берілген мүмкіндіктерді қолданбай пайдаланғыңыз келсеamples, сізге тек DLFD жинағын орнату қажет. Әйтпесе, орнатыңыз Intel® oneAPI негізгі құралдар жинағы.

Бұл құралдар жинағы ең жаңа Intel® процессорларының өнімділігінің соңғы унциясын алатын терең оқыту жүйесін тез және оңай құруға немесе оңтайландыруға мүмкіндік беретін әзірлеу кітапханаларының жиынтығы. Бұл құралдар жинағы икемді опциялары бар Deep Learning Framework жүйесін қосады, оның ішінде процессор немесе графикалық процессордағы оңтайлы өнімділік.

Intel® oneAPI терең нейрондық желі кітапханасы
Intel® oneAPI ұжымдық коммуникациялар кітапханасы

Intel® oneAPI терең нейрондық желі кітапханасы

Intel® oneAPI терең нейрондық желі кітапханасы терең оқыту қолданбаларына арналған ашық бастапқы өнімділік кітапханасы болып табылады. Кітапханада Intel® архитектуралық процессорлары мен Intel® процессорлық графикасы үшін оңтайландырылған нейрондық желілерге арналған негізгі құрылыс блоктары бар. Бұл кітапхана Intel процессорлары мен графикалық процессорларындағы қолданбалардың өнімділігін жақсартуға мүдделі тереңдетілген қосымшалар мен фреймворк әзірлеушілеріне арналған. Көптеген танымал Deep Learning құрылымдары осы кітапханамен біріктірілген.

Intel® oneAPI ұжымдық коммуникациялар кітапханасы

Intel® oneAPI ұжымдық коммуникациялар кітапханасы - терең оқытуда қолданылатын байланыс үлгілерін тиімді енгізуді қамтамасыз ететін кітапхана.

Intel® MPI кітапханасының үстіне салынған, басқа байланыс кітапханаларын пайдалануға мүмкіндік береді.
Байланыс үлгілерінің ауқымдылығын арттыру үшін оңтайландырылған.

Әр түрлі өзара байланыстар арқылы жұмыс істейді: Intel® Omni-Path Architecture, InfiniBand* және Ethernet
Deep Learning құрылымдарын қолдауға арналған жалпы API (Caffe*, Theano*, Torch*, т.б.)

Бұл бума Intel® MLSL бағдарламалық құралды әзірлеу жинағын (SDK) және Intel® MPI Library Runtime компоненттерін қамтиды.

Жүйені конфигурациялаңыз

Intel® oneAPI DL Framework әзірлеушіге арналған құралдар жинағы
Жүгіру үшін sampIntel® oneAPI DPC++/C++ компиляторын және Intel® Threading құрылыс блоктарын пайдалану үшін, Intel® oneAPI негізгі құралдар жинағы жүйені конфигурациялау алдында.

Жүйе талаптарының толық тізімін мына жерден қараңыз Intel® oneAPI терең нейрондық желі кітапханасының шығарылым жазбалары.

Жүйені конфигурациялау үшін сізге қажет:

Орталық процессор/GPU немесе FPGA үшін орта айнымалы мәндерін орнатыңыз
GPU пайдаланушылары үшін GPU драйверлерін орнатыңыз

Ұзақ жұмыс істейтін GPU есептеу жұмыс жүктемелері бар қолданбалар үшін Hangcheck функциясын өшіріңіз
GPU пайдаланушылары үшін бейне тобына пайдаланушы қосыңыз

CLI әзірлеу үшін ортаның айнымалы мәндерін орнату

Пәрмен жолы интерфейсінде (CLI) жұмыс істеу үшін oneAPI құралдар жинақтарындағы құралдар орта айнымалы мәндері арқылы конфигурацияланады. setvars сценарийін алу арқылы CLI ортаңызды орнатыңыз:

1-нұсқа: setvars.sh көзі сеансқа бір рет

Жаңа терминал терезесін ашқан сайын setvars.sh көзі:
setvars.sh сценарийін oneAPI орнатуыңыздың түбірлік қалтасынан таба аласыз, ол әдетте sudo немесе root пайдаланушылары үшін /opt/ intel/oneapi/ және қалыпты пайдаланушы ретінде орнатылған кезде ~/intel/oneapi/ болып табылады.

Түбір немесе sudo орнатулары үшін:
. /opt/intel/oneapi/setvars.sh
Қалыпты пайдаланушы орнатулары үшін:
. ~/intel/oneapi/setvars.sh

2-нұсқа: setvars.sh үшін бір рет орнату

Жобаларыңыз үшін ортаны автоматты түрде орнату үшін /setvars.sh пәрмен көзін автоматты түрде шақырылатын іске қосу сценарийіне қосыңыз (oneAPI орнату орнына апаратын жолмен ауыстырыңыз). Әдепкі орнату орындары sudo немесе root пайдаланушылары үшін /opt/ intel/oneapi/ және қалыпты пайдаланушы ретінде орнатылған кезде ~/intel/oneapi/ болып табылады.

Мысалыample, source /setvars.sh пәрменін ~/.bashrc немесе ~/.bashrc_pro файлына қосуға болады.file немесе ~/.profile file. Жүйедегі барлық тіркелгілер үшін параметрлерді тұрақты ету үшін жүйеңіздің /etc/pro ішінде бір жолды .sh сценарийін жасаңыз.filesetvars.sh дереккөздері бар .d қалтасы (толығырақ ақпаратты қараңыз Қоршаған ортаның айнымалылары бойынша Ubuntu құжаттамасы).

ЕСКЕРТУ
setvars.sh сценарийін конфигурация арқылы басқаруға болады file, бұл әсіресе «соңғы» нұсқаға әдепкі емес, кітапханалардың немесе компилятордың нақты нұсқаларын инициализациялау қажет болса пайдалы.
Қосымша ақпарат алу үшін қараңыз Конфигурацияны пайдалану File Setvars.sh басқару үшін.. Егер ортаны POSIX емес қабықшада орнату қажет болса, қараңыз oneAPI әзірлеу ортасын орнату қосымша конфигурация опциялары үшін.

GPU пайдаланушылары үшін GPU драйверлерін орнатыңыз

GPU драйверлерін орнату үшін Орнату нұсқаулығындағы нұсқауларды орындасаңыз, бұл қадамды өткізіп жіберуіңізге болады. Драйверлерді орнатпаған болсаңыз, бөлімдегі нұсқауларды орындаңыз Орнату нұсқаулығы.

GPU: Hangcheck-ті өшіріңіз

Бұл бөлім тек жергілікті орталарда ұзақ жұмыс істейтін GPU есептеу жұмыс жүктемелері бар қолданбаларға ғана қолданылады. Виртуализациялар немесе ойын ойнау сияқты GPU-ны басқа стандартты пайдалану үшін ұсынылмайды.

GPU аппараттық құралын орындау үшін төрт секундтан астам уақыт алатын жұмыс жүктемесі ұзақ жұмыс жүктемесі болып табылады. Әдепкі бойынша, ұзақ орындалатын жұмыс жүктемелері ретінде жарамды жеке ағындар ілулі болып саналады және тоқтатылады.
Қауіпсіздікті тексеру күту уақытын өшіру арқылы сіз бұл мәселені болдырмауға болады.

ЕСКЕРТУ Жүйе қайта жүктелсе, hangcheck автоматты түрде қосылады. Әр қайта жүктегеннен кейін hangcheck функциясын қайта өшіруіңіз керек немесе hangcheck-ті тұрақты түрде өшіру үшін нұсқауларды орындауыңыз керек (бірнеше қайта жүктеу кезінде).

Келесі қайта жүктеуге дейін hangcheck функциясын өшіру үшін:
sudo sh -c “echo N> /sys/module/i915/parameters/enable_hangcheck”

Бірнеше қайта жүктеу кезінде hangcheck функциясын өшіру үшін:

ЕСКЕРТУ Егер ядро жаңартылса, hangcheck автоматты түрде қосылады. Әр ядро жаңартуынан кейін hangcheck өшірілгеніне көз жеткізу үшін төмендегі процедураны орындаңыз.

Терминалды ашыңыз.
Топты ашыңыз file /etc/default ішінде.
Топта file, GRUB_CMDLINE_LINUX_DEFAULT=” жолын табыңыз.
Осы мәтінді тырнақшалардың арасына («») енгізіңіз:
i915.enable_hangcheck=0
Мына пәрменді іске қосыңыз:
sudo update-grub
Жүйені қайта жүктеңіз. Hangcheck өшірілген күйінде қалады.

GPU: Бейне тобына пайдаланушы қосу

GPU есептеу жұмыс жүктемелері үшін түбірлік емес (қалыпты) пайдаланушылар әдетте GPU құрылғысына қол жеткізе алмайды. Бейне тобына қалыпты пайдаланушы(лар)ыңызды қосқаныңызға көз жеткізіңіз; әйтпесе, GPU құрылғысы үшін құрастырылған екілік файлдар қалыпты пайдаланушы орындаған кезде сәтсіз болады. Бұл мәселені шешу үшін, бейне тобына root емес пайдаланушыны қосыңыз: sudo usermod -a -G бейне

Ең соңғы талаптар тізімін мына жерден қараңыз Intel® oneAPI ұжымдық коммуникациялар кітапханасының шығарылым жазбалары.

S іске қосыңызample жобасы
ретінде іске қосыңызampпәрмен жолын қолданатын жоба.

S іске қосыңызampпәрмен жолын қолдану арқылы жоба

Intel® oneAPI DL Framework әзірлеушіге арналған құралдар жинағы

oneDNN және oneCCL s пайдаланғыңыз келсеampорнату керек Intel® oneAPI негізгі құралдар жинағы (BaseKit).
BaseKit құрамында барлық қажетті тәуелділіктері бар барлық Intel® oneAPI DL Framework Developer Toolkit құрамдастары бар.

BaseKit орнатылғаннан кейін келесідей іске қосуға боладыampішіндегі нұсқауларды пайдалана отырып Intel® oneAPI DL Framework Developer Toolkit S құрастырыңыз және іске қосыңызample Пәрмен жолын пайдалану.

Контейнерлерді пайдалану

Intel® oneAPI DL Framework әзірлеушіге арналған құралдар жинағы

Контейнерлер oneAPI қолданбаларын құру, іске қосу және профильдеу үшін орталарды орнатуға және конфигурациялауға және оларды кескіндер арқылы таратуға мүмкіндік береді:

Барлық қажетті құралдармен алдын ала конфигурацияланған ортасы бар кескінді орнатуға, содан кейін сол ортада әзірлеуге болады.
Қосымша орнатусыз ортаны сақтауға және сол ортаны басқа құрылғыға жылжыту үшін кескінді пайдалануға болады.
Қажет болса, әртүрлі тілдер жиыны мен орындалу уақыты, талдау құралдары немесе басқа құралдар бар контейнерлерді дайындауға болады.

**Docker* кескінін жүктеп алыңыз**

Docker* кескінін мына жерден жүктеп алуға болады Контейнерлер репозиторийі.

ЕСКЕРТУ Docker кескіні ~5 ГБ және жүктеп алу үшін ~15 минут кетуі мүмкін. Ол 25 ГБ дискілік кеңістікті қажет етеді.
image=intel/oneapi-dlfdkit
докер «$image» тартуы

Пәрмен жолы бар контейнерлерді пайдалану

Intel® oneAPI DL Framework әзірлеушіге арналған құралдар жинағы
Контейнерлерді тікелей құрастырыңыз және іске қосыңыз.

Төменде GPU қол жетімді болса, –device=/dev/dri (Linux* VM немесе Windows* жүйесінде қол жетімді болмауы мүмкін) арқылы қосады. Пәрмен сізді пәрмен жолында, контейнер ішінде, интерактивті режимде қалдырады.

image=intel/oneapi-dlfdkit
# –device=/dev/dri gpu қосады (бар болса). Linux VM немесе Windows docker run –device=/dev/dri -it “$image” жүйесінде қол жетімді болмауы мүмкін.

Контейнерге кіргеннен кейін онымен Run a S арқылы әрекеттесуге боладыampпәрмен жолын қолдану арқылы жоба.

ЕСКЕРТУ Проксидің артында болсаңыз, -it “$image” алдында прокси параметрлерін қосу қажет болуы мүмкін:

docker run -e http_proxy=”$http_proxy” -e https_proxy=”$https_proxy” -it “$image”

Контейнерлермен Intel® Advisor, Intel® Inspector немесе VTune™ пайдалану

Бұл құралдарды пайдаланған кезде контейнерге қосымша мүмкіндіктер берілуі керек:

–cap-add=SYS_ADMIN –cap-add=SYS_PTRACE
docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \
–Device=/dev/dri -it “$image”

Келесі қадамдар

Intel® oneAPI DL Framework әзірлеушіге арналған құралдар жинағы

Жеке жобаңызды құрғаннан кейін қайтаview Intel® oneAPI DL Framework Toolkit Code Samples осы құралдар жинағының мүмкіндіктерін түсіну.

Ескертулер мен жауапкершіліктен бас тарту

Intel технологиялары қосылған жабдықты, бағдарламалық жасақтаманы немесе қызметті қосуды қажет етуі мүмкін.
Ешқандай өнім немесе компонент мүлдем қауіпсіз бола алмайды.
Сіздің шығындарыңыз бен нәтижелеріңіз әртүрлі болуы мүмкін.

© Intel корпорациясы. Intel, Intel логотипі және басқа Intel белгілері Intel корпорациясының немесе оның еншілес компанияларының сауда белгілері болып табылады. Басқа атаулар мен брендтер басқалардың меншігі ретінде талап етілуі мүмкін.

Оңтайландыру туралы ескерту

Intel компиляторлары Intel микропроцессорларына ғана тән емес оңтайландырулар үшін Intel емес микропроцессорлар үшін бірдей дәрежеде оңтайландыруы немесе оңтайландыруы мүмкін емес. Бұл оңтайландырулар SSE2, SSE3 және SSSE3 нұсқаулар жиынын және басқа оңтайландыруларды қамтиды. Intel корпорациясы Intel өндірмеген микропроцессорлардағы кез келген оңтайландырудың қолжетімділігіне, функционалдығына немесе тиімділігіне кепілдік бермейді. Бұл өнімдегі микропроцессорға тәуелді оңтайландырулар Intel микропроцессорларымен пайдалануға арналған. Intel микроархитектурасына тән емес кейбір оңтайландырулар Intel микропроцессорлары үшін сақталған. Осы хабарламада қамтылған нақты нұсқаулар жинағына қатысты қосымша ақпарат алу үшін қолданыстағы өнімнің пайдаланушы және анықтамалық нұсқаулықтарын қараңыз.
№20110804 редакциясына ескерту

Бұл құжат кез келген зияткерлік меншік құқықтарына ешқандай лицензия бермейді (анық немесе жанама, тыйым салу арқылы немесе басқаша).

Сипатталған өнімдерде дизайн ақаулары немесе қателер деп аталатын қателер болуы мүмкін, бұл өнімнің жарияланған техникалық сипаттамалардан ауытқуына әкелуі мүмкін. Ағымдағы сипатталған қателер сұраныс бойынша қол жетімді.

Intel саудаға жарамдылық, белгілі бір мақсатқа жарамдылық және бұзылмау туралы болжамды кепілдіктерді қоса алғанда, шектеусіз барлық айқын және жанама кепілдіктерден, сондай-ақ өнімділік барысы, мәміле барысы немесе саудада пайдаланудан туындайтын кез келген кепілдіктерден бас тартады.

Құжаттар / Ресурстар

Linux үшін Intel oneAPI DL Framework әзірлеушілерінің құралдар жинағы [pdf] Пайдаланушы нұсқаулығы
Linux үшін oneAPI DL Framework әзірлеушілерінің құралдар жинағы, Linux үшін Framework әзірлеушілерінің құралдар жинағы, Linux үшін әзірлеушілер құралдары жинағы, Linux үшін құралдар жинағы

Анықтамалар

Пайдаланушы нұсқаулығы

Intel® oneAPI DL Framework әзірлеуші құралдар жинағы үшін мына қадамдарды орындаңыз: