Intel AI Analytics Toolkit për Linux
Informacioni i produktit
Kompleti AI është një paketë veglash që përfshin mjedise të shumta konda për projektet e mësimit të makinerive dhe të të mësuarit të thellë. Ai përfshin mjedise për TensorFlow, PyTorch dhe Intel oneCCL Bindings. Ai i lejon përdoruesit të konfigurojnë sistemin e tyre duke vendosur variabla të mjedisit, duke përdorur Conda për të shtuar paketa, duke instaluar drejtues grafikë dhe duke çaktivizuar hangcheck. Paketa e veglave mund të përdoret në një ndërfaqe të linjës së komandës (CLI) dhe mund të integrohet lehtësisht në projektet ekzistuese pa ndonjë modifikim të veçantë.
Përdorimi i produktit
- Konfiguro sistemin tuaj duke vendosur variabla të mjedisit përpara se të vazhdoni.
- Për të punuar në një ndërfaqe të linjës së komandës (CLI), përdorni skriptin setvars.sh për të konfiguruar veglat në paketat e veglave oneAPI nëpërmjet variablave të mjedisit. Skriptin setvars.sh mund ta përdorni një herë në sesion ose sa herë që hapni një dritare të re terminali. Skripti setvars.sh mund të gjendet në dosjen rrënjë të instalimit tuaj oneAPI.
- Aktivizoni mjedise të ndryshme conda sipas nevojës me anë të komandës “conda activate ”. Kompleti AI përfshin mjedise konda për TensorFlow (CPU), TensorFlow me Intel Extension për Sample TensorFlow (GPU), PyTorch me Intel Extension për PyTorch (XPU) dhe Intel oneCCL Bindings për PyTorch (CPU).
- Eksploroni lidhjet e secilit mjedis si Fillimi Samplidheni në tabelën e dhënë në manualin e përdorimit për më shumë informacion se si të përdorni çdo mjedis.
Udhëzimet e mëposhtme supozojnë se keni instaluar softuerin Intel® OneAPI. Ju lutemi shikoni faqen e Intel AI Analytics Toolkit për opsionet e instalimit. Ndiqni këto hapa për të ndërtuar dhe drejtuar një sampme Kompletin e Veglave të Analizës Intel® AI (Kit AI):
- Konfiguro sistemin tuaj.
- Ndërtoni dhe drejtoni një Sample.
SHËNIM: Instalimet standarde të Python janë plotësisht të pajtueshme me AI Kit, por preferohet shpërndarja Intel® për Python*.
Nuk kërkohen modifikime të veçanta në projektet tuaja ekzistuese për të filluar përdorimin e tyre me këtë paketë veglash.
Përbërësit e kësaj pakete veglash
Kompleti AI përfshin
- Intel® Optimization për PyTorch*: Biblioteka e Rrjetit Neural të Thellë të Intel® OneAPI (oneDNN) përfshihet në PyTorch si biblioteka e parazgjedhur e kernelit matematikor për mësim të thellë.
- Zgjatja Intel® për PyTorch: Zgjatja Intel® për PyTorch* zgjeron aftësitë e PyTorch* me veçori dhe optimizime të përditësuara për një rritje shtesë të performancës në harduerin Intel.
- Intel® Optimization për TensorFlow*: Ky version integron primitivë nga oneDNN në kohën e ekzekutimit të TensorFlow për performancë të përshpejtuar.
- Intel® Extension për TensorFlow: Intel® Extension për TensorFlow* është një shtesë shtesë heterogjene, me performancë të lartë për zgjerimin e mësimit të thellë, bazuar në ndërfaqen TensorFlow PluggableDevice. Kjo shtojcë shtesë sjell pajisjet Intel XPU (GPU, CPU, etj) në komunitetin me burim të hapur TensorFlow për përshpejtimin e ngarkesës së AI.
- Shpërndarja Intel® për Python*: Merrni performancë më të shpejtë të aplikacionit Python menjëherë nga kutia, me ndryshime minimale ose pa ndryshime në kodin tuaj. Kjo shpërndarje është e integruar me bibliotekat e performancës Intel® si Biblioteka e kernelit matematikor Intel® OneAPI dhe Biblioteka e Analitikës së të Dhënave të Intel®oneAPI.
- Intel® Distribution of Modin* (i disponueshëm vetëm përmes Anaconda), i cili ju mundëson të shkallëzoni pa probleme parapërpunimin nëpër shumë nyje duke përdorur këtë bibliotekë inteligjente të kornizave të të dhënave të shpërndarë me një API identike me pandat. Kjo shpërndarje është e disponueshme vetëm duke instaluar pako Intel® AI Analytics me Menaxherin e Paketave Conda*.
- Kompresori nervor Intel®: vendos shpejt zgjidhje konkluzionesh me saktësi të ulët në kornizat e njohura të mësimit të thellë si TensorFlow*, PyTorch*, MXNet* dhe ONNX* (Open Neural Network Exchange).
- Intel® Extension për Scikit-learn*: Një mënyrë e pandërprerë për të shpejtuar aplikacionin tuaj Scikit-learn duke përdorur Bibliotekën e Analitikës së të Dhënave të Intel® OneAPI (oneDAL).
Patching scikit-learn e bën atë një kornizë të përshtatshme të mësimit të makinerive për trajtimin e problemeve të jetës reale. - XGBoost i optimizuar nga Intel: Kjo paketë e mirënjohur e mësimit të makinës për pemët e vendimeve të rritura me gradient përfshin përshpejtim pa ndërprerje dhe lëshim për arkitekturat Intel® për të shpejtuar ndjeshëm trajnimin e modelit dhe për të përmirësuar saktësinë për parashikime më të mira.
Konfiguroni sistemin tuaj – Kompleti i veglave të analitikës Intel® AI
Nëse nuk e keni instaluar tashmë paketën e veglave të AI Analytics, referojuni Instalimit të Instalimit të Komitetit të Veglave të AI Analytics Intel®. Për të konfiguruar sistemin tuaj, vendosni variablat e mjedisit përpara se të vazhdoni.
Vendosni variablat e mjedisit për zhvillimin e CLI
Për të punuar në një ndërfaqe të linjës së komandës (CLI), mjetet në paketat e veglave oneAPI konfigurohen nëpërmjet
variablat e mjedisit. Për të vendosur variabla të mjedisit duke përdorur skriptin setvars:
Opsioni 1: Burimi setvars.sh një herë në sesion
Burimi setvars.sh sa herë që hapni një dritare të re terminali:
Ju mund ta gjeni skriptin setvars.sh në dosjen rrënjë të instalimit tuaj oneAPI, i cili zakonisht është /opt/intel/oneapi/ për instalimet e sistemit dhe ~/intel/oneapi/ për instalimet private.
Për instalime në të gjithë sistemin (kërkon privilegje root ose sudo):
- . /opt/intel/oneapi/setvars.sh
Për instalime private:
- . ~/intel/oneapi/setvars.sh
Opsioni 2: Konfigurimi një herë për setvars.sh
Për të konfiguruar automatikisht mjedisin për projektet tuaja, përfshini burimin e komandës
/setvars.sh në një skript fillestar ku do të thirret automatikisht (zëvendëso
me shtegun për në vendndodhjen tuaj të instalimit të OneAPI). Vendndodhjet e parazgjedhura të instalimit janë /opt/
intel/oneapi/ për instalime në të gjithë sistemin (kërkon privilegje root ose sudo) dhe ~/intel/oneapi/ për instalime private.
Për shembullample, mund të shtoni komandën e burimit /setvars.sh në ~/.bashrc ose ~/.bashrc_profile ose ~/.profile file. Për t'i bërë të përhershme cilësimet për të gjitha llogaritë në sistemin tuaj, krijoni një skript .sh me një linjë në /etc/pro të sistemit tuajfileDosja .d që buron setvars.sh (për më shumë detaje, shihni dokumentacionin e Ubuntu mbi Ndryshoret e Mjedisit).
SHËNIM
Skripti setvars.sh mund të menaxhohet duke përdorur një konfigurim file, e cila është veçanërisht e dobishme nëse keni nevojë të inicializoni versione specifike të bibliotekave ose përpiluesit, në vend që të paracaktoni versionin "më të fundit". Për më shumë detaje, shihni Përdorimi i një konfigurimi File për të Menaxho Setvars.sh.. Nëse keni nevojë të konfiguroni mjedisin në një guaskë jo-POSIX, shihni Konfigurimin e Mjedisit të Zhvillimit të API për më shumë opsione konfigurimi.
Hapat e ardhshëm
- Nëse nuk jeni duke përdorur Conda, ose duke u zhvilluar për GPU, ndërtoni dhe ekzekutoni një Sample Projekti.
- Për përdoruesit e Conda, vazhdoni në seksionin tjetër.
- Për zhvillimin në një GPU, vazhdoni te Përdoruesit e GPU
Conda Environments në këtë pako të veglave
Ka mjedise të shumta conda të përfshira në Komplet AI. Çdo mjedis përshkruhet në tabelën e mëposhtme. Pasi të keni vendosur variablat e mjedisit në mjedisin CLI siç është udhëzuar më parë, më pas mund të aktivizoni mjedise të ndryshme conda sipas nevojës nëpërmjet komandës së mëposhtme:
- conda aktivizoj
Për më shumë informacion, ju lutemi eksploroni lidhjen e secilit mjedis si Fillimi Sampjanë të lidhura në tabelën e mëposhtme.
Përdorni funksionin Conda Clone për të shtuar paketa si përdorues jo-rrënjë
Paketa e veglave Intel AI Analytics është instaluar në dosjen oneapi, e cila kërkon privilegje rrënjësore për ta menaxhuar. Ju mund të dëshironi të shtoni dhe mirëmbani paketa të reja duke përdorur Conda*, por nuk mund ta bëni këtë pa qasje rrënjësore. Ose, mund të keni akses në rrënjë, por nuk dëshironi të futni fjalëkalimin rrënjë sa herë që aktivizoni Conda.
Për të menaxhuar mjedisin tuaj pa përdorur qasjen në rrënjë, përdorni funksionalitetin e klonit Conda për të klonuar paketat që ju nevojiten në një dosje jashtë dosjes /opt/intel/oneapi/:
- Nga e njëjta dritare terminali ku keni drejtuar setvars.sh, identifikoni mjediset Conda në sistemin tuaj:
- conda env lista
Do të shihni rezultate të ngjashme me këtë:
- conda env lista
- Përdorni funksionin e klonimit për të klonuar mjedisin në një dosje të re. Në ishampmë poshtë, mjedisi i ri quhet usr_intelpython dhe mjedisi që klonohet quhet bazë (siç tregohet në imazhin e mësipërm).
- conda create –name usr_intelpython –klon bazë
Detajet e klonit do të shfaqen:
- conda create –name usr_intelpython –klon bazë
- Aktivizoni mjedisin e ri për të mundësuar mundësinë e shtimit të paketave. mund të aktivizoni usr_intelpython
- Verifikoni që mjedisi i ri është aktiv. conda env lista
Tani mund të zhvilloni duke përdorur mjedisin Conda për Intel Distribution për Python. - Për të aktivizuar mjedisin TensorFlow* ose PyTorch*:
TensorFlow
- conda aktivizoj rrjedhën e tensionit
PyTorch
- conda activate pytorch
Hapat e ardhshëm
- Nëse nuk jeni duke u zhvilluar për GPU, ndërtoni dhe ekzekutoni një Sample Projekti.
- Për zhvillimin në një GPU, vazhdoni te Përdoruesit e GPU.
Përdoruesit e GPU
Për ata që janë duke u zhvilluar në një GPU, ndiqni këto hapa:
Instaloni drejtuesit e GPU
Nëse keni ndjekur udhëzimet në udhëzuesin e instalimit për të instaluar drejtues GPU, mund ta kaloni këtë hap. Nëse nuk i keni instaluar drejtuesit, ndiqni udhëzimet në Udhëzuesin e Instalimit.
Shto përdorues në grupin e videove
Për ngarkesat e punës me llogaritjen e GPU-së, përdoruesit jo-root (normalë) zakonisht nuk kanë qasje në pajisjen GPU. Sigurohuni që të shtoni përdoruesit tuaj të zakonshëm në grupin e videove; përndryshe, binarët e kompiluar për pajisjen GPU do të dështojnë kur ekzekutohen nga një përdorues normal. Për të rregulluar këtë problem, shtoni përdoruesin jo-root në grupin e videos:
- sudo usermod -a -G video
Çaktivizo Hangcheck
Për aplikacionet me ngarkesa të gjata të punës të llogaritjes së GPU-së në mjedise origjinale, çaktivizoni hangcheck. Kjo nuk rekomandohet për virtualizime ose përdorime të tjera standarde të GPU, të tilla si lojërat.
Një ngarkesë pune që kërkon më shumë se katër sekonda që hardueri GPU të ekzekutohet është një ngarkesë e gjatë pune. Si parazgjedhje, temat individuale që kualifikohen si ngarkesa pune afatgjatë konsiderohen të varura dhe mbyllen. Duke çaktivizuar periudhën e skadimit të kontrollit, mund ta shmangni këtë problem.
SHËNIM: Nëse kerneli përditësohet, hangcheck aktivizohet automatikisht. Drejtoni procedurën e mëposhtme pas çdo përditësimi të kernelit për të siguruar që kontrolli i kontrollit është i çaktivizuar.
- Hap një terminal.
- Hapni grub file në /etc/default.
- Në gropë file, gjeni rreshtin GRUB_CMDLINE_LINUX_DEFAULT=”” .
- Fusni këtë tekst midis thonjëzave (“”):
- Ekzekutoni këtë komandë:
sudo update-grub - Rinisni sistemin. Hangcheck mbetet i çaktivizuar.
Hapi tjetër
Tani që keni konfiguruar sistemin tuaj, vazhdoni të ndërtoni dhe ekzekutoni një Sample Projekti.
Ndërtoni dhe drejtoni një SampPërdorimi i linjës së komandës
Kompleti i veglave të analitikës Intel® AI
Në këtë seksion, ju do të drejtoni një projekt të thjeshtë "Hello World" për t'u njohur me procesin e ndërtimit të projekteve dhe më pas do të ndërtoni projektin tuaj.
SHËNIM: Nëse nuk e keni konfiguruar tashmë mjedisin tuaj të zhvillimit, shkoni te Konfiguro sistemin tuaj dhe kthehuni në këtë faqe. Nëse i keni përfunduar tashmë hapat për të konfiguruar sistemin tuaj, vazhdoni me hapat e mëposhtëm.
Ju mund të përdorni ose një dritare terminali ose kodin e Visual Studio* kur punoni nga linja e komandës. Për detaje se si të përdorni kodin VS në nivel lokal, shihni Përdorimi bazë i kodit të Visual Studio me oneAPI në Linux*. Për të përdorur Kodin VS nga distanca, shihni Zhvillimi i Kodit të Visual Studio në distancë me oneAPI në Linux*.
Ndërtoni dhe drejtoni një Sample Projekti
SampMë poshtë duhet të klonohen në sistemin tuaj përpara se të mund të ndërtoni sampprojekti:
Për të parë një listë të komponentëve që mbështesin CMake, shihni Përdorimi i CMake për me aplikacionet oneAPI.
Ndërtoni projektin tuaj
Nuk kërkohen modifikime të veçanta në projektet tuaja ekzistuese Python për të filluar përdorimin e tyre me këtë paketë veglash. Për projektet e reja, procesi ndjek nga afër procesin e përdorur për krijimin e sample Projektet Hello World. Referojuni Hello World README files për udhëzime.
Maksimizimi i Performancës
Ju mund të merrni dokumentacion për t'ju ndihmuar të maksimizoni performancën për TensorFlow ose PyTorch.
Konfiguro mjedisin tuaj
SHËNIM: Nëse mjedisi juaj virtual nuk është i disponueshëm, ose nëse dëshironi të shtoni paketa në mjedisin tuaj virtual, sigurohuni që të keni përfunduar hapat në Përdorni funksionin e Klonit Conda për të Shtuar Paketat si Përdorues Jo Root.
Nëse po zhvilloni jashtë një kontejneri, burimi skriptin e mëposhtëm për të përdorur Shpërndarjen Intel® për Python*:
-
- /setvars.sh
- ku është vendi ku keni instaluar këtë paketë veglash. Si parazgjedhje drejtoria e instalimit është:
- Instalimet rrënjë ose sudo: /opt/intel/oneapi
- Instalimet e përdoruesve lokalë: ~/intel/oneapi
SHËNIM: Skripti setvars.sh mund të menaxhohet duke përdorur një konfigurim file, e cila është veçanërisht e dobishme nëse keni nevojë të inicializoni versione specifike të bibliotekave ose përpiluesit, në vend që të paracaktoni versionin "më të fundit". Për më shumë detaje, shihni Përdorimi i një konfigurimi File për të Manage Setvars.sh. Nëse keni nevojë të konfiguroni mjedisin në një guaskë jo-POSIX, shihni Konfigurimin e Mjedisit të Zhvillimit të OneAPI për më shumë opsione konfigurimi.
Për të ndërruar mjediset, fillimisht duhet të çaktivizoni mjedisin aktiv.
Ish-i i mëposhtëmample demonstron konfigurimin e mjedisit, aktivizimin e TensorFlow* dhe më pas kthimin në Shpërndarjen Intel për Python:
Shkarkoni një kontejner
Kompleti i veglave të analitikës Intel® AI
Kontejnerët ju lejojnë të konfiguroni dhe konfiguroni mjedise për ndërtimin, ekzekutimin dhe profilizimin e aplikacioneve oneAPI dhe t'i shpërndani ato duke përdorur imazhe:
- Mund të instaloni një imazh që përmban një mjedis të konfiguruar paraprakisht me të gjitha mjetet që ju nevojiten, më pas të zhvillohet brenda atij mjedisi.
- Mund të ruani një mjedis dhe ta përdorni imazhin për ta zhvendosur atë mjedis në një makinë tjetër pa konfigurim shtesë.
- Ju mund të përgatisni kontejnerë me grupe të ndryshme gjuhësh dhe kohësh ekzekutimi, mjete analize ose mjete të tjera, sipas nevojës.
Shkarkoni imazhin e Docker*
Mund të shkarkoni një imazh Docker* nga Depoja e Kontejnerëve.
SHËNIM: Imazhi i Docker është ~5 GB dhe mund të duhen ~15 minuta për t'u shkarkuar. Do të kërkojë 25 GB hapësirë në disk.
- Përcaktoni imazhin:
image=intel/oneapi-aikit docker pull “$image” - Tërhiq imazhin.
docker pull "$image"
Pasi të shkarkohet imazhi juaj, vazhdoni te Përdorimi i kontejnerëve me vijën e komandës.
Përdorimi i kontejnerëve me linjën e komandës
Intel® AI Analytics Toolkit Shkarko direkt kontejnerët e para-ndërtuar. Komanda e mëposhtme për CPU-në do t'ju lërë në një linjë komande, brenda kontejnerit, në modalitetin interaktiv.
CPU
image=intel/oneapi-aikit docker run -it “$image”
Duke përdorur Intel® Advisor, Intel® Inspector ose VTune™ me kontejnerë
Kur përdorni këto mjete, duhet t'i jepen aftësi shtesë kontejnerit: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE
- docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it “$image”
Duke përdorur sistemet Cloud CI
Sistemet Cloud CI ju lejojnë të ndërtoni dhe testoni softuerin tuaj automatikisht. Shihni repon në github për shembullamples e konfigurimit files që përdorin oneAPI për sistemet e njohura të cloud CI.
Zgjidhja e problemeve për Intel® AI Analytics Toolkit
Njoftimet dhe mohimet
Teknologjitë Intel mund të kërkojnë aktivizim të harduerit, softuerit ose shërbimit. Asnjë produkt apo komponent nuk mund të jetë absolutisht i sigurt.
Kostot dhe rezultatet tuaja mund të ndryshojnë.
© Intel Corporation. Intel, logoja e Intel dhe markat e tjera Intel janë marka tregtare të Intel Corporation ose filialeve të saj. Emra dhe marka të tjera mund të pretendohen si pronë e të tjerëve.
Informacione për produktin dhe performancën
Performanca ndryshon nga përdorimi, konfigurimi dhe faktorë të tjerë. Mësoni më shumë në www.Intel.com/PerformanceIndex.
Rishikimi i njoftimit #20201201
Asnjë licencë (e shprehur ose e nënkuptuar, nga estoppel ose ndryshe) për asnjë të drejtë të pronësisë intelektuale nuk jepet nga ky dokument. Produktet e përshkruara mund të përmbajnë defekte të dizajnit ose gabime të njohura si gabime, të cilat mund të bëjnë që produkti të devijojë nga specifikimet e publikuara. Gabimet aktuale të karakterizuara janë në dispozicion sipas kërkesës.
Intel heq dorë nga të gjitha garancitë e shprehura dhe të nënkuptuara, duke përfshirë, pa kufizim, garancitë e nënkuptuara të tregtueshmërisë, përshtatshmërisë për një qëllim të caktuar dhe mos-shkeljes, si dhe çdo garanci që rrjedh nga rrjedha e performancës, kursi i marrëveshjes ose përdorimi në tregti.
Dokumentet / Burimet
 |
Intel AI Analytics Toolkit për Linux [pdfUdhëzuesi i përdoruesit Paketa e veglave të analitikës së AI për Linux, Pako e veglave të AI Analytics, Paketa e veglave të analitikës për Linux, Paketa e veglave të analitikës, Paketa e veglave |
