Intel AI Analytics Toolkit pou Linux

Enfòmasyon sou pwodwi

Twous AI a se yon bwat zouti ki gen ladan plizyè anviwònman konda pou aprantisaj machin ak pwojè aprantisaj pwofon. Li gen ladann anviwònman pou TensorFlow, PyTorch, ak Intel oneCCL Bindings. Li pèmèt itilizatè yo konfigirasyon sistèm yo lè yo mete varyab anviwònman yo, lè l sèvi avèk Conda pou ajoute pakè, enstale chofè grafik, ak enfim hangcheck. Ka zouti a dwe itilize nan yon Entèfas Liy Kòmand (CLI) epi yo ka fasilman entegre nan pwojè ki egziste deja san okenn modifikasyon espesyal.

Itilizasyon pwodwi

1. Konfigure sistèm ou a pa mete varyab anviwònman an anvan ou kontinye.
2. Pou travay nan yon Entèfas Liy Kòmand (CLI), sèvi ak script setvars.sh pou konfigirasyon zouti ki nan twous zouti oneAPI yo atravè varyab anviwònman an. Ou ka jwenn script setvars.sh la yon fwa pou chak sesyon oswa chak fwa ou louvri yon nouvo fenèt tèminal. Ou ka jwenn script setvars.sh nan katab rasin enstalasyon oneAPI ou a.
3. Aktive diferan anviwònman konda jan sa nesesè atravè lòd "conda aktive ". Twous AI a gen ladan anviwònman konda pou TensorFlow (CPU), TensorFlow ak Intel Extension pou S.ample TensorFlow (GPU), PyTorch ak Intel ekstansyon pou PyTorch (XPU), ak Intel oneCCL Liaisons pou PyTorch (CPU).
4. Eksplore chak anviwònman ki gen rapò ak Kòmanse Sample lye nan tablo ki bay nan manyèl itilizatè a pou plis enfòmasyon sou fason pou itilize chak anviwònman.

Enstriksyon sa yo sipoze ou te enstale lojisyèl Intel® oneAPI. Tanpri gade paj Intel AI Analytics Toolkit pou opsyon enstalasyon yo. Swiv etap sa yo pou konstwi ak kouri kòmample ak Intel® AI Analytics Toolkit (AI Twous):

1. Konfigure sistèm ou a.
2. Konstwi ak kouri yon Sample.

REMAK: Enstalasyon estanda Python yo totalman konpatib ak AI Kit la, men Intel® Distribution for Python* pi pito.
Pa gen okenn modifikasyon espesyal nan pwojè ou yo ki egziste deja yo oblije kòmanse itilize yo ak bwat zouti sa a.

Konpozan Toolkit sa a

Twous AI a gen ladan l

• Intel® Optimization pou PyTorch*: Intel® oneAPI Deep Neural Network Library (oneDNN) enkli nan PyTorch kòm bibliyotèk defo matematik pou aprantisaj pwofon.
• Intel® ekstansyon pou PyTorch: Intel® ekstansyon pou PyTorch* pwolonje kapasite PyTorch* ak karakteristik ajou ak optimize pou yon ogmantasyon pèfòmans siplemantè sou pyès ki nan konpitè Intel.
• Intel® Optimization pou TensorFlow*: Vèsyon sa a entegre primitif ki soti nan oneDNN nan tan exécute TensorFlow pou pèfòmans akselere.
• Intel® ekstansyon pou TensorFlow: Intel® ekstansyon pou TensorFlow* se yon plugin ekstansyon aprantisaj pwofon ki eterojèn ak pèfòmans segondè ki baze sou koòdone TensorFlow PluggableDevice. Plugin ekstansyon sa a pote aparèy Intel XPU (GPU, CPU, elatriye) nan kominote sous louvri TensorFlow pou akselerasyon travay AI.
• Intel® Distribution for Python*: Jwenn pi vit pèfòmans aplikasyon Python soti nan bwat la, ak chanjman minim oswa pa gen okenn chanjman nan kòd ou a. Distribisyon sa a entegre ak Intel® Performance Libraries tankou Intel® oneAPI Math Kernel Library ak Intel®oneAPI Data Analytics Library.
• Intel® Distribution of Modin* (disponib atravè Anaconda sèlman), ki pèmèt ou echèl prepwosesis san pwoblèm atravè plizyè nœuds lè l sèvi avèk bibliyotèk Dataframe entèlijan, distribiye sa a ak yon API ki idantik ak panda. Distribisyon sa a disponib sèlman lè w Enstale Toolkit Intel® AI Analytics ak Manadjè pake Conda*.
• Intel® Neural Compressor: byen vit deplwaye solisyon enferans ki ba-presizyon sou kad aprantisaj pwofon popilè tankou TensorFlow*, PyTorch*, MXNet*, ak ONNX* (Open Neural Network Exchange).
• Intel® Ekstansyon pou Scikit-learn*: Yon fason san pwoblèm pou akselere aplikasyon Scikit-learn ou a lè l sèvi avèk Intel® oneAPI Data Analytics Library (oneDAL).
  Patching scikit-learn fè li yon kad aprantisaj machin ki byen adapte pou fè fas ak pwoblèm lavi reyèl.
• XGBoost Optimize pa Intel: Pake aprantisaj machin byen koni sa a pou pye bwa desizyon gradyan ranfòse gen ladann akselerasyon san pwoblèm, gout-an pou achitekti Intel® pou akselere siyifikativman fòmasyon modèl ak amelyore presizyon pou pi bon prediksyon.

Konfigure sistèm ou a - Intel® AI Analytics Toolkit

Si ou poko enstale Toolkit AI Analytics, al gade nan Enstale Toolkit Intel® AI Analytics. Pou konfigirasyon sistèm ou a, mete varyab anviwònman an anvan ou kontinye.

 

Mete varyab anviwònman pou devlopman CLI
Pou travay nan yon koòdone liy kòmand (CLI), zouti ki nan bwat zouti oneAPI yo konfigirasyon atravè
varyab anviwònman yo. Pou mete varyab anviwònman an pa sous script setvars la:

Opsyon 1: Sous setvars.sh yon fwa pou chak sesyon
Sous setvars.sh chak fwa ou louvri yon nouvo fenèt tèminal:

Ou ka jwenn script setvars.sh nan katab rasin enstalasyon oneAPI ou a, ki se tipikman /opt/intel/oneapi/ pou enstalasyon lajè sistèm ak ~/intel/oneapi/ pou enstalasyon prive.

Pou enstalasyon lajè sistèm (mande pou privilèj rasin oswa sudo):

• . /opt/intel/oneapi/setvars.sh

Pou enstalasyon prive:

• . ~/intel/oneapi/setvars.sh

Opsyon 2: Yon sèl konfigirasyon pou setvars.sh
Pou gen anviwònman an otomatikman mete kanpe pou pwojè ou yo, enkli sous la lòd
/setvars.sh nan yon script demaraj kote li pral envoke otomatikman (ranplase
ak chemen kote w ap enstale oneAPI ou). Kote enstalasyon default yo se / opt /
intel/oneapi/ pou enstalasyon lajè sistèm (mande pou privilèj rasin oswa sudo) ak ~/intel/oneapi/ pou enstalasyon prive.
Pou egzanpample, ou ka ajoute sous la /setvars.sh kòmand nan ~/.bashrc ou oswa ~/.bashrc_profile oswa ~/.profile file. Pou fè paramèt yo pèmanan pou tout kont sou sistèm ou a, kreye yon script .sh yon sèl liy nan /etc/pro sistèm ou a.file.d Katab ki sous setvars.sh (pou plis detay, gade dokiman Ubuntu sou Varyab Anviwònman).

REMAK
Ou ka jere script setvars.sh la lè l sèvi avèk yon konfigirasyon file, ki itil sitou si ou bezwen inisyalize vèsyon espesifik bibliyotèk yo oswa konpilatè a, olye ke defo nan "dènye" vèsyon an. Pou plis detay, gade Sèvi ak yon konfigirasyon File pou Jere Setvars.sh.. Si ou bezwen konfigirasyon anviwònman an nan yon kokiy ki pa POSIX, gade nan Enstalasyon Anviwònman Devlopman API pou plis opsyon konfigirasyon.

Pwochen etap yo

• Si w ap itilize Conda, oswa devlope pou GPU, Konstwi ak kouri yon Sample Pwojè.
• Pou itilizatè Conda, kontinye nan pwochen seksyon an.
• Pou devlope sou yon GPU, kontinye sou Itilizatè GPU yo

Conda Environments nan Toolkit sa a
Gen plizyè anviwònman konda ki enkli nan Twous AI a. Chak anviwònman dekri nan tablo ki anba a. Yon fwa ou te mete varyab anviwònman yo nan anviwònman CLI jan yo te deja enstriksyon, ou ka Lè sa a, aktive diferan anviwònman konda jan sa nesesè atravè lòd sa a:

• konda aktive

Pou plis enfòmasyon, tanpri eksplore chak anviwònman ki gen rapò ak Kòmanse Sample lye nan tablo ki anba a.

Sèvi ak fonksyon klonaj Conda pou ajoute pakè kòm yon itilizatè ki pa rasin
Kit zouti Intel AI Analytics enstale nan katab oneapi a, ki mande privilèj rasin pou jere. Ou ka vle ajoute ak kenbe nouvo pakè lè l sèvi avèk Conda*, men ou pa kapab fè sa san aksè rasin. Oswa, ou ka gen aksè rasin men ou pa vle antre modpas rasin lan chak fwa ou aktive Conda.

Pou jere anviwònman ou san yo pa itilize aksè rasin, itilize fonksyonalite klonaj Conda pou klonaj pakè ou bezwen yo nan yon katab deyò /opt/intel/oneapi/:

1. Soti nan menm fenèt tèminal kote ou te kouri setvars.sh, idantifye anviwònman yo Conda sou sistèm ou a:
   • konda env list
     Ou pral wè rezilta ki sanble ak sa a:
2. Sèvi ak fonksyon klonaj la pou klonaj anviwònman an nan yon nouvo katab. Nan ansyen anample anba a, yo rele nouvo anviwònman an usr_intelpython ak anviwònman an ke yo te klonaj yo rele baz (jan yo montre nan imaj ki anwo a).
   • conda create –name usr_intelpython –clone baz
     Detay klonaj yo ap parèt:

1. Aktive nouvo anviwònman an pou pèmèt kapasite pou ajoute pakè. konda aktive usr_intelpython
2. Verifye nouvo anviwònman an aktif. konda env list
   Ou kapab kounye a devlope lè l sèvi avèk anviwònman an Conda pou Intel Distribution pou Python.
3. Pou aktive anviwònman TensorFlow* oswa PyTorch*:

TensorFlow

• konda aktive tensorflow

PyTorch

• konda aktive pytorch

Pwochen etap yo

• Si w pa devlope pou GPU, konstwi epi kouri yon Sample Pwojè.
• Pou devlope sou yon GPU, kontinye sou Itilizatè GPU yo.

Itilizatè GPU yo
Pou moun ki ap devlope sou yon GPU, swiv etap sa yo:

Enstale chofè GPU yo
Si ou te swiv enstriksyon yo nan Gid Enstalasyon an pou enstale GPU Drivers, ou ka sote etap sa a. Si ou pa enstale chofè yo, swiv enstriksyon ki nan Gid Enstalasyon an.

Ajoute itilizatè nan gwoup videyo
Pou chaj travay kalkile GPU, itilizatè ki pa rasin (nòmal) pa tipikman gen aksè a aparèy GPU la. Asire w ou ajoute itilizatè nòmal ou (yo) nan gwoup videyo a; otreman, binè konpile pou aparèy GPU a ap febli lè yo egzekite pa yon itilizatè nòmal. Pou rezoud pwoblèm sa a, ajoute itilizatè ki pa rasin nan gwoup videyo a:

• sudo usermod -a -G videyo

Enfim Hangcheck
Pou aplikasyon ki gen chaj travay kalkile GPU ki dire lontan nan anviwònman natif natal, enfim hangcheck. Sa a pa rekòmande pou Virtualizations oswa lòt itilizasyon estanda nan GPU, tankou jwèt.

Yon kantite travay ki pran plis pase kat segonn pou pyès ki nan konpitè GPU egzekite se yon kantite travay ki dire lontan. Pa default, fil endividyèl ki kalifye kòm chaj travay ki dire lontan yo konsidere kòm pandye epi yo sispann. Lè w enfim peryòd tan hangcheck la, ou ka evite pwoblèm sa a.

REMAK: Si nwayo a mete ajou, hangcheck otomatikman aktive. Kouri pwosedi ki anba a apre chak aktyalizasyon nwayo pou asire ke hangcheck dezaktive.

1. Louvri yon tèminal.
2. Louvri grub la file nan /etc/default.
3. Nan grub la file, jwenn liy lan GRUB_CMDLINE_LINUX_DEFAULT="" .
4. Antre tèks sa a ant quotes (""):
5. Kouri lòd sa a:
   sudo update-grub
6. Rdemare sistèm nan. Hangcheck rete enfim.

Pwochen etap
Kounye a ke ou te konfigirasyon sistèm ou a, kontinye nan Bati ak Kouri yon Sample Pwojè.

Konstwi ak kouri yon Sample Sèvi ak Liy Kòmand lan

Intel® AI Analytics Toolkit
Nan seksyon sa a, ou pral kouri yon senp pwojè "Bonjou mond" pou familyarize w ak pwosesis konstriksyon pwojè yo, epi answit bati pwòp pwojè ou.

REMAK: Si ou pa te deja konfigirasyon anviwònman devlopman ou, ale nan Konfigirasyon sistèm ou an epi retounen nan paj sa a. Si ou te deja konplete etap sa yo pou konfigirasyon sistèm ou a, kontinye ak etap ki anba yo.

Ou ka itilize swa yon fenèt tèminal oswa Visual Studio Code * lè w ap travay nan liy lòd la. Pou plis detay sou fason pou itilize VS Kòd lokalman, gade Itilizasyon debaz Visual Studio Code ak oneAPI sou Linux*. Pou itilize VS Code adistans, gade Remote Visual Studio Code Development with oneAPI on Linux*.

Konstwi ak kouri yon Sample Pwojè
S laamples ki pi ba yo dwe klonaj nan sistèm ou a anvan ou ka bati s laamppwojè a:

Pou wè yon lis konpozan ki sipòte CMake, gade Sèvi ak CMake pou ak aplikasyon oneAPI.

Bati pwòp pwojè ou
Pa gen okenn modifikasyon espesyal nan pwojè Python ou ki egziste deja yo oblije kòmanse sèvi ak yo ak bwat zouti sa a. Pou nouvo pwojè, pwosesis la byen swiv pwosesis la itilize pou kreye sample Hello World pwojè yo. Al gade nan Hello World README files pou enstriksyon.

Maksimize pèfòmans
Ou ka jwenn dokiman pou ede w maksimize pèfòmans swa TensorFlow oswa PyTorch.

Konfigure anviwònman ou

REMAK: Si anviwònman vityèl ou a pa disponib, oswa si ou vle ajoute pakè nan anviwònman vityèl ou a, asire w ke ou te konplete etap sa yo nan Sèvi ak Fonksyon klonaj Conda a pou ajoute pakè kòm yon itilizatè ki pa rasin.

Si w ap devlope andeyò yon veso, sous script sa a pou itilize Intel® Distribution pou Python*:

• • /setvars.sh
• kote se kote ou enstale zouti sa a. Pa default anyè enstalasyon an se:
• Enstalasyon rasin oswa sudo: /opt/intel/oneapi
• Enstalasyon itilizatè lokal yo: ~/intel/oneapi

REMAK: Ou ka jere script setvars.sh la lè l sèvi avèk yon konfigirasyon file, ki itil sitou si ou bezwen inisyalize vèsyon espesifik bibliyotèk yo oswa konpilatè a, olye ke defo nan "dènye" vèsyon an. Pou plis detay, gade Sèvi ak yon konfigirasyon File pou Jere Setvars.sh. Si ou bezwen konfigirasyon anviwònman an nan yon kokiy ki pa POSIX, gade Enstalasyon anviwònman devlopman oneAPI pou plis opsyon konfigirasyon.

Pou chanje anviwònman, ou dwe premye dezaktive anviwònman aktif la.
Egzanp sa aample montre konfigirasyon anviwònman an, aktive TensorFlow *, epi retounen nan Intel Distribution for Python:

Telechaje yon veso

Intel® AI Analytics Toolkit
Kontenè pèmèt ou mete ak konfigirasyon anviwònman pou bati, kouri ak pwofil aplikasyon oneAPI epi distribye yo lè l sèvi avèk imaj:

• Ou ka enstale yon imaj ki gen yon anviwònman pre-konfigirasyon ak tout zouti ou bezwen yo, epi devlope nan anviwònman sa a.
• Ou ka sove yon anviwònman epi sèvi ak imaj la pou w deplase anviwònman sa a nan yon lòt machin san konfigirasyon adisyonèl.
• Ou ka prepare resipyan ak diferan seri lang ak ègzekutabl, zouti analiz, oswa lòt zouti, jan sa nesesè.

Telechaje Docker* Imaj
Ou ka telechaje yon imaj Docker* nan depo Containers la.

REMAK: Imaj Docker a se ~ 5 GB epi li ka pran ~ 15 minit pou telechaje. Li pral mande pou 25 GB espas disk.

1. Defini imaj la:
   imaj = intel/oneapi-aikit docker rale "$ imaj"
2. Rale imaj la.
   docker rale "$imaj"

Yon fwa yo telechaje imaj ou a, ale nan Sèvi ak kontenè ak liy kòmand la.

Sèvi ak kontenè ak liy kòmand la
Intel® AI Analytics Toolkit Telechaje resipyan pre-konstwi dirèkteman. Kòmandman ki anba a pou CPU ap kite ou nan yon èd memwa, andedan veso a, nan mòd entèaktif.

CPU
image=intel/oneapi-aikit docker run -it "$imaj"

Sèvi ak Intel® Advisor, Intel® Inspector oswa VTune™ ak Containers
Lè w ap itilize zouti sa yo, yo dwe bay veso a kapasite siplemantè: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE

• Docker kouri –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it “$imaj”

Sèvi ak Cloud CI Systems

Sistèm Cloud CI pèmèt ou bati ak teste lojisyèl ou otomatikman. Gade repo a nan github pou egzanpamples nan konfigirasyon files ki itilize oneAPI pou sistèm CI nwaj popilè yo.

Depanaj pou Toolkit Intel® AI Analytics

Avi ak Limit responsabilite nou

Teknoloji Intel yo ka mande pou aktive pyès ki nan konpitè, lojisyèl oswa deklanchman sèvis yo. Pa gen okenn pwodwi oswa eleman ki ka absoliman an sekirite.
Depans ou yo ak rezilta yo ka varye.

© Intel Corporation. Intel, logo Intel ak lòt mak Intel yo se mak komèsyal Intel Corporation oswa filiales li yo. Lòt non ak mak yo ka reklame kòm pwopriyete lòt moun.

Enfòmasyon sou pwodwi ak pèfòmans

Pèfòmans varye selon itilizasyon, konfigirasyon ak lòt faktè. Aprann plis nan www.Intel.com/PerformanceIndex.
Avi revizyon #20201201

Pa gen okenn lisans (eksprime oswa implicite, pa estoppel oswa otreman) nan okenn dwa pwopriyete entelektyèl yo akòde pa dokiman sa a. Pwodwi yo dekri yo ka genyen defo konsepsyon oswa erè ke yo rekonèt kòm errata ki ka lakòz pwodwi a devye de espesifikasyon pibliye. Aktyèl karakterize errata yo disponib sou demann.

Intel rejte tout garanti eksprime ak implicite, ki gen ladan san limitasyon, garanti implicite nan komèsan, kondisyon fizik pou yon objektif patikilye, ak ki pa vyolasyon, osi byen ke nenpòt garanti ki soti nan kou nan pèfòmans, kou nan komès, oswa itilizasyon nan komès.

Dokiman / Resous

Intel AI Analytics Toolkit pou Linux [pdfGid Itilizatè AI Analytics Toolkit pou Linux, AI Analytics Toolkit, Analytics Toolkit pou Linux, Analytics Toolkit, Toolkit

Referans

• Manyèl itilizatè