Intel AI Analytics Toolkit для Linux
Інфармацыя аб прадукце
Набор AI Kit - гэта набор інструментаў, які ўключае некалькі асяроддзяў conda для праектаў машыннага і глыбокага навучання. Ён уключае асяроддзя для прывязак TensorFlow, PyTorch і Intel oneCCL. Гэта дазваляе карыстальнікам наладжваць сваю сістэму, усталёўваючы зменныя асяроддзя, выкарыстоўваючы Conda для дадання пакетаў, усталёўваючы графічныя драйверы і адключаючы hangcheck. Набор інструментаў можа выкарыстоўвацца ў інтэрфейсе каманднага радка (CLI) і можа быць лёгка інтэграваны ў існуючыя праекты без якіх-небудзь спецыяльных мадыфікацый.
Выкарыстанне прадукту
- Перш чым працягнуць, наладзьце сістэму, усталяваўшы зменныя асяроддзя.
- Каб працаваць у інтэрфейсе каманднага радка (CLI), выкарыстоўвайце скрыпт setvars.sh для канфігурацыі інструментаў у наборах інструментаў oneAPI праз зменныя асяроддзя. Вы можаце ствараць скрыпт setvars.sh адзін раз за сеанс або кожны раз, калі адкрываеце новае акно тэрмінала. Сцэнар setvars.sh можна знайсці ў каранёвай тэчцы ўстаноўкі oneAPI.
- Пры неабходнасці актывуйце розныя асяроддзя conda з дапамогай каманды «conda activate ». Набор AI уключае асяроддзя conda для TensorFlow (CPU), TensorFlow з пашырэннем Intel для Sample TensorFlow (GPU), PyTorch з пашырэннем Intel для PyTorch (XPU) і Intel oneCCL Bindings для PyTorch (CPU).
- Дасьледуйце кожнае асяродзьдзе, зьвязанае Пачатак працы Sample па спасылцы ў табліцы, прадстаўленай у кіраўніцтве карыстальніка, для атрымання дадатковай інфармацыі аб тым, як выкарыстоўваць кожнае асяроддзе.
Наступныя інструкцыі мяркуюць, што вы ўсталявалі праграмнае забеспячэнне Intel® oneAPI. Наведайце старонку Intel AI Analytics Toolkit, каб даведацца пра варыянты ўстаноўкі. Выканайце наступныя дзеянні, каб стварыць і запусціць якampз Intel® AI Analytics Toolkit (AI Kit):
- Наладзьце вашу сістэму.
- Стварыце і запусціце Sampле.
УВАГА: Стандартныя ўсталёўкі Python цалкам сумяшчальныя з наборам AI Kit, але пераважным з'яўляецца дыстрыбутыў Intel® для Python*.
Каб пачаць выкарыстоўваць іх з гэтым наборам інструментаў, не патрабуецца ніякіх спецыяльных мадыфікацый вашых існуючых праектаў.
Кампаненты гэтага набору інструментаў
Набор AI уключае
- Аптымізацыя Intel® для PyTorch*: Бібліятэка глыбокай нейроннай сеткі Intel® oneAPI (oneDNN) уключана ў PyTorch у якасці бібліятэкі матэматычнага ядра па змаўчанні для глыбокага навучання.
- Пашырэнне Intel® для PyTorch: Пашырэнне Intel® для PyTorch* пашырае магчымасці PyTorch* з дапамогай сучасных функцый і аптымізацыі для дадатковага павышэння прадукцыйнасці абсталявання Intel.
- Аптымізацыя Intel® для TensorFlow*: гэтая версія аб'ядноўвае прымітывы з oneDNN у асяроддзе выканання TensorFlow для павышэння прадукцыйнасці.
- Intel® Extension for TensorFlow: Intel® Extension for TensorFlow* - гэта гетэрагенны высокапрадукцыйны плагін пашырэння глыбокага навучання, заснаваны на інтэрфейсе TensorFlow PluggableDevice. Гэты плагін пашырэння дадае прылады Intel XPU (графічны працэсар, працэсар і г.д.) у супольнасць TensorFlow з адкрытым зыходным кодам для паскарэння працоўнай нагрузкі AI.
- Дыстрыбутыў Intel® для Python*: атрымайце больш высокую прадукцыйнасць прыкладанняў Python прама з скрынкі, з мінімальнымі зменамі ў вашым кодзе або без іх. Гэты дыстрыбутыў інтэграваны з бібліятэкамі Intel® Performance Library, такімі як Intel® oneAPI Math Kernel Library і Intel®oneAPI Data Analytics Library.
- Intel® Distribution of Modin* (даступны толькі праз Anaconda), які дазваляе бесперашкодна маштабаваць папярэднюю апрацоўку на некалькіх вузлах з дапамогай гэтай інтэлектуальнай размеркаванай бібліятэкі кадраў дадзеных з ідэнтычным API для pandas. Гэты дыстрыбутыў даступны толькі пры ўсталёўцы Intel® AI Analytics Toolkit з Conda* Package Manager.
- Intel® Neural Compressor: хуткае разгортванне рашэнняў нізкай дакладнасці для вываду на папулярных структурах глыбокага навучання, такіх як TensorFlow*, PyTorch*, MXNet* і ONNX* (Open Neural Network Exchange) асяроддзе выканання.
- Пашырэнне Intel® для Scikit-learn*: просты спосаб паскорыць працу вашага прыкладання Scikit-learn з дапамогай бібліятэкі аналізу дадзеных Intel® oneAPI (oneDAL).
Выпраўленне scikit-learn робіць яго добра прыстасаванай структурай машыннага навучання для вырашэння праблем рэальнага жыцця. - XGBoost, аптымізаваны Intel: гэты добра вядомы пакет машыннага навучання для дрэў рашэнняў з градыентным узмацненнем уключае бесперапыннае паскарэнне для архітэктур Intel® для значнага паскарэння навучання мадэлі і павышэння дакладнасці для лепшых прагнозаў.
Наладзьце сваю сістэму – Intel® AI Analytics Toolkit
Калі вы яшчэ не ўсталявалі AI Analytics Toolkit, звярніцеся да Усталёўка Intel® AI Analytics Toolkit. Каб наладзіць сістэму, усталюйце зменныя асяроддзя, перш чым працягваць.
Усталюйце зменныя асяроддзя для распрацоўкі CLI
Для працы з інтэрфейсам каманднага радка (CLI) інструменты ў наборах oneAPI наладжваюцца праз
зменныя асяроддзя. Каб усталяваць зменныя асяроддзя з дапамогай скрыпту setvars:
Варыянт 1: зыходны файл setvars.sh адзін раз за сеанс
Зыходны код setvars.sh кожны раз, калі вы адкрываеце новае акно тэрмінала:
Вы можаце знайсці скрыпт setvars.sh у каранёвай тэчцы ўстаноўкі oneAPI, якая звычайна з'яўляецца /opt/intel/oneapi/ для агульнасістэмных установак і ~/intel/oneapi/ для прыватных установак.
Для агульнасістэмных установак (патрабуюцца прывілеі root або sudo):
- . /opt/intel/oneapi/setvars.sh
Для прыватных установак:
- . ~/intel/oneapi/setvars.sh
Варыянт 2: аднаразовая ўстаноўка для setvars.sh
Каб асяроддзе аўтаматычна наладжвалася для вашых праектаў, уключыце крыніцу каманд
/setvars.sh у скрыпце запуску, дзе ён будзе аўтаматычна выкліканы (замяніць
з шляхам да месца ўстаноўкі oneAPI). Месца ўстаноўкі па змаўчанні /opt/
intel/oneapi/ для агульнасістэмных установак (патрабуюцца прывілеі root або sudo) і ~/intel/oneapi/ для прыватных установак.
Напрыкладample, вы можаце дадаць крыніцу /setvars.sh каманда ў ~/.bashrc або ~/.bashrc_profile або ~/.profile file. Каб зрабіць налады пастаяннымі для ўсіх уліковых запісаў вашай сістэмы, стварыце аднарадковы скрыпт .sh у /etc/pro вашай сістэмыfileПапка .d, якая з'яўляецца крыніцай setvars.sh (падрабязней глядзіце дакументацыю Ubuntu па зменных асяроддзя).
УВАГА
Скрыптам setvars.sh можна кіраваць з дапамогай канфігурацыі file, што асабліва карысна, калі вам трэба ініцыялізаваць пэўныя версіі бібліятэк або кампілятара, а не выкарыстоўваць па змаўчанні «апошнюю» версію. Для атрымання дадатковай інфармацыі гл. Выкарыстанне канфігурацыі File каб кіраваць Setvars.sh.. Калі вам трэба наладзіць асяроддзе ў абалонцы, якая не з'яўляецца POSIX, гл. OneAPI Development Environment Setup для атрымання дадатковых параметраў канфігурацыі.
Наступныя крокі
- Калі вы не выкарыстоўваеце Conda або не распрацоўваеце для GPU, стварыце і запусціце SampLe Project.
- Для карыстальнікаў Conda перайдзіце да наступнага раздзела.
- Для распрацоўкі на GPU перайдзіце да Карыстальнікі GPU
Асяроддзі Conda ў гэтым наборы інструментаў
У набор AI Kit уваходзіць некалькі асяроддзяў conda. Кожнае асяроддзе апісана ў табліцы ніжэй. Пасля таго, як вы ўсталюеце зменныя асяроддзя для асяроддзя CLI, як паказана раней, вы можаце актываваць розныя асяроддзя conda па меры неабходнасці з дапамогай наступнай каманды:
- conda актываваць
Для атрымання дадатковай інфармацыі, калі ласка, азнаёмцеся з адпаведным асяроддзем Пачатак працы Sampспасылка ў табліцы ніжэй.
Выкарыстоўвайце функцыю Conda Clone для дадання пакетаў у якасці не-root карыстальніка
Набор інструментаў Intel AI Analytics усталяваны ў тэчцы oneapi, для кіравання якой патрабуюцца прывілеі root. Вы можаце дадаць і падтрымліваць новыя пакеты з дапамогай Conda*, але вы не можаце зрабіць гэта без каранёвага доступу. Ці вы можаце мець root-доступ, але не жадаеце ўводзіць пароль root кожны раз пры актывацыі Conda.
Каб кіраваць сваім асяроддзем без выкарыстання каранёвага доступу, выкарыстоўвайце функцыянальнасць кланавання Conda, каб кланаваць неабходныя пакеты ў папку па-за папкай /opt/intel/oneapi/:
- З таго ж акна тэрмінала, дзе вы запускалі setvars.sh, вызначце асяроддзі Conda ў вашай сістэме:
- спіс conda env
Вы ўбачыце вынікі, падобныя да гэтага:
- спіс conda env
- Выкарыстоўвайце функцыю кланавання, каб кланаваць асяроддзе ў новую тэчку. У эксampніжэй, новае асяроддзе называецца usr_intelpython, а асяроддзе, якое клануецца, называецца base (як паказана на малюнку вышэй).
- conda create –name usr_intelpython –clone base
З'явяцца дэталі клона:
- conda create –name usr_intelpython –clone base
- Актывуйце новае асяроддзе, каб уключыць магчымасць дадаваць пакеты. conda актываваць usr_intelpython
- Пераканайцеся, што новае асяроддзе актыўнае. спіс conda env
Цяпер вы можаце распрацоўваць з дапамогай асяроддзя Conda для Intel Distribution для Python. - Каб актываваць асяроддзе TensorFlow* або PyTorch*:
TensorFlow
- conda актываваць tensorflow
PyTorch
- conda актываваць pytorch
Наступныя крокі
- Калі вы не займаецеся распрацоўкай для GPU, стварыце і запусціце SampLe Project.
- Для распрацоўкі на GPU перайдзіце да Карыстальнікі GPU.
Карыстальнікі GPU
Для тых, хто распрацоўвае на GPU, выканайце наступныя дзеянні:
Ўстаноўка драйвераў графічнага працэсара
Калі вы выконвалі інструкцыі ў Кіраўніцтве па ўсталёўцы драйвераў GPU, вы можаце прапусціць гэты крок. Калі вы не ўсталявалі драйверы, выконвайце ўказанні ў Інструкцыі па ўсталёўцы.
Дадаць карыстальніка ў групу відэа
Для вылічальных працоўных нагрузак GPU не-root (звычайныя) карыстальнікі звычайна не маюць доступу да прылады GPU. Пераканайцеся, што вы дадалі сваіх звычайных карыстальнікаў у групу відэа; у адваротным выпадку двайковыя файлы, скампіляваныя для прылады GPU, не атрымаюцца пры выкананні звычайным карыстальнікам. Каб выправіць гэтую праблему, дадайце не-root карыстальніка ў групу відэа:
- sudo usermod -a -G відэа
Адключыць Hangcheck
Для прыкладанняў з працяглымі вылічальнымі нагрузкамі GPU ў уласных асяроддзях адключыце hangcheck. Гэта не рэкамендуецца для віртуалізацыі або іншых стандартных відаў выкарыстання GPU, такіх як гульні.
Рабочая нагрузка, якая займае больш за чатыры секунды для апаратнага забеспячэння графічнага працэсара, з'яўляецца працяглай рабочай нагрузкай. Па змаўчанні асобныя патокі, якія кваліфікуюцца як працяглыя нагрузкі, лічацца прыпыненымі і спыняюцца. Адключыўшы перыяд чакання hangcheck, вы можаце пазбегнуць гэтай праблемы.
УВАГА: Калі ядро абноўлена, hangcheck аўтаматычна ўключаецца. Выконвайце наступную працэдуру пасля кожнага абнаўлення ядра, каб пераканацца, што hangcheck адключаны.
- Адкрыйце тэрмінал.
- Адкрыйце grub file у /etc/default.
- У жэрці file, знайдзіце радок GRUB_CMDLINE_LINUX_DEFAULT=”” .
- Увядзіце гэты тэкст паміж двукоссямі (“”):
- Выканайце гэтую каманду:
sudo update-grub - Перазагрузіце сістэму. Hangcheck застаецца адключаным.
Наступны крок
Цяпер, калі вы наладзілі сістэму, перайдзіце да зборкі і запуску SampLe Project.
Стварыце і запусціце Sample з дапамогай каманднага радка
Intel® AI Analytics Toolkit
У гэтым раздзеле вы запусціце просты праект «Hello World», каб азнаёміцца з працэсам стварэння праектаў, а затым пабудуеце свой уласны праект.
УВАГА: Калі вы яшчэ не сканфігуравалі асяроддзе распрацоўкі, перайдзіце да раздзела Наладзьце сістэму, а потым вярніцеся на гэтую старонку. Калі вы ўжо выканалі крокі па канфігурацыі сістэмы, працягвайце наступныя дзеянні.
Пры працы з каманднага радка вы можаце выкарыстоўваць акно тэрмінала або код Visual Studio*. Для атрымання падрабязнай інфармацыі аб лакальным выкарыстанні кода VS глядзіце "Асноўнае выкарыстанне кода Visual Studio з oneAPI на Linux*". Каб выкарыстоўваць VS Code выдалена, гл. Аддаленая распрацоўка кода Visual Studio з oneAPI на Linux*.
Стварыце і запусціце SampLe Project
У ыamples ніжэй павінны быць кланаваныя ў вашу сістэму, перш чым вы зможаце стварыць sampпраект:
Каб убачыць спіс кампанентаў, якія падтрымліваюць CMake, гл. Выкарыстанне CMake з праграмамі oneAPI.
Стварыце свой уласны праект
Каб пачаць выкарыстоўваць іх з гэтым наборам інструментаў, ніякіх спецыяльных мадыфікацый вашых існуючых праектаў Python не патрабуецца. Для новых праектаў працэс уважліва сочыць за працэсам, які выкарыстоўваецца для стварэння sampпраекты le Hello World. Звярніцеся да Hello World README files для інструкцый.
Максімізацыя прадукцыйнасці
Вы можаце атрымаць дакументацыю, якая дапаможа вам павялічыць прадукцыйнасць TensorFlow або PyTorch.
Наладзьце сваё асяроддзе
УВАГА: Калі ваша віртуальнае асяроддзе недаступнае або калі вы хочаце дадаць пакеты ў сваё віртуальнае асяроддзе, пераканайцеся, што вы выканалі крокі ў раздзеле «Выкарыстанне функцыі клонавання Conda для дадання пакетаў у якасці не-root карыстальніка».
Калі вы распрацоўваеце па-за кантэйнерам, знайдзіце наступны скрыпт для выкарыстання дыстрыбутыва Intel® для Python*:
-
- /setvars.sh
- дзе дзе вы ўсталявалі гэты набор інструментаў. Па змаўчанні ўсталявальны каталог:
- Усталёўка root або sudo: /opt/intel/oneapi
- Лакальныя ўстаноўкі карыстальнікаў: ~/intel/oneapi
УВАГА: Скрыптам setvars.sh можна кіраваць з дапамогай канфігурацыі file, што асабліва карысна, калі вам трэба ініцыялізаваць пэўныя версіі бібліятэк або кампілятара, а не выкарыстоўваць па змаўчанні «апошнюю» версію. Для атрымання дадатковай інфармацыі гл. Выкарыстанне канфігурацыі File для кіравання Setvars.sh. Калі вам трэба наладзіць асяроддзе ў абалонцы, якая не з'яўляецца POSIX, глядзіце наладку асяроддзя распрацоўкі oneAPI для атрымання дадатковых параметраў канфігурацыі.
Каб пераключыць асяроддзе, трэба спачатку дэактываваць актыўнае асяроддзе.
Наступны выпрample дэманструе канфігурацыю асяроддзя, актывацыю TensorFlow* і вяртанне да дыстрыбутыва Intel для Python:
Спампаваць кантэйнер
Intel® AI Analytics Toolkit
Кантэйнеры дазваляюць наладжваць і канфігураваць асяроддзі для стварэння, запуску і прафілявання прыкладанняў oneAPI і распаўсюджваць іх з дапамогай малюнкаў:
- Вы можаце ўсталяваць вобраз, які змяшчае асяроддзе, папярэдне сканфігураванае з усімі неабходнымі інструментамі, а потым развіваць у гэтым асяроддзі.
- Вы можаце захаваць асяроддзе і выкарыстоўваць выяву для перамяшчэння гэтага асяроддзя на іншую машыну без дадатковых налад.
- Вы можаце падрыхтаваць кантэйнеры з рознымі наборамі моў і асяроддзем выканання, інструментамі аналізу або іншымі інструментамі па меры неабходнасці.
Спампаваць вобраз Docker*
Вы можаце спампаваць вобраз Docker* з рэпазітара кантэйнераў.
УВАГА: Вобраз Docker займае ~5 ГБ і можа заняць ~15 хвілін для загрузкі. Для гэтага спатрэбіцца 25 Гб дыскавай прасторы.
- Вызначце малюнак:
image=intel/oneapi-aikit докер выцягнуць «$image» - Выцягнуць малюнак.
докер выцягнуць «$image»
Пасля загрузкі выявы перайдзіце да раздзела «Выкарыстанне кантэйнераў з камандным радком».
Выкарыстанне кантэйнераў з камандным радком
Intel® AI Analytics Toolkit Спампуйце загадзя створаныя кантэйнеры непасрэдна. Прыведзеная ніжэй каманда для CPU пакіне вас у камандным радку ўнутры кантэйнера ў інтэрактыўным рэжыме.
працэсар
image=intel/oneapi-aikit docker run -it “$image”
Выкарыстанне Intel® Advisor, Intel® Inspector або VTune™ з кантэйнерамі
Пры выкарыстанні гэтых інструментаў для кантэйнера павінны быць прадастаўлены дадатковыя магчымасці: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE
- docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it «$image»
Выкарыстанне Cloud CI Systems
Воблачныя сістэмы CI дазваляюць аўтаматычна ствараць і тэставаць праграмнае забеспячэнне. Глядзіце рэпазітар на github, напрыкладampфайлы канфігурацыі fileякія выкарыстоўваюць oneAPI для папулярных воблачных сістэм CI.
Пошук і ліквідацыю непаладак для Intel® AI Analytics Toolkit
Заўвагі і адмова ад адказнасці
Тэхналогіі Intel могуць патрабаваць уключанага абсталявання, праграмнага забеспячэння або актывацыі службы. Ні адзін прадукт або кампанент не можа быць абсалютна бяспечным.
Вашы выдаткі і вынікі могуць адрознівацца.
© Карпарацыя Intel. Intel, лагатып Intel і іншыя знакі Intel з'яўляюцца гандлёвымі маркамі карпарацыі Intel або яе даччыных кампаній. Іншыя назвы і брэнды могуць быць заяўлены як уласнасць іншых.
Інфармацыя аб прадукце і прадукцыйнасці
Прадукцыйнасць залежыць ад выкарыстання, канфігурацыі і іншых фактараў. Даведайцеся больш на www.Intel.com/PerformanceIndex.
Рэдакцыя паведамлення № 20201201
Гэты дакумент не дае ніякіх ліцэнзій (яўных або пэўных, па законе або іншым чынам) на правы інтэлектуальнай уласнасці. Апісаныя прадукты могуць утрымліваць канструктыўныя дэфекты або памылкі, вядомыя як памылкі, якія могуць прывесці да адхілення прадукту ад апублікаваных спецыфікацый. Бягучыя характарыстыкі памылак даступныя па запыце.
Intel адмаўляецца ад усіх відавочных і пэўных гарантый, уключаючы, без абмежавання, падразумныя гарантыі таварнасці, прыдатнасці для пэўнай мэты і адсутнасці парушэнняў, а таксама любыя гарантыі, якія вынікаюць з ходу працы, ходу здзелак або выкарыстання ў гандлі.
Дакументы / Рэсурсы
 |
Intel AI Analytics Toolkit для Linux [pdfКіраўніцтва карыстальніка AI Analytics Toolkit для Linux, AI Analytics Toolkit, Analytics Toolkit для Linux, Analytics Toolkit, Toolkit |
