Intel AI Analyticsi tööriistakomplekt Linuxi jaoks

Tooteteave

AI Kit on tööriistakomplekt, mis sisaldab mitut konda keskkonda masinõppe ja süvaõppeprojektide jaoks. See sisaldab keskkondi TensorFlow, PyTorchi ja Intel oneCCL sidemete jaoks. See võimaldab kasutajatel oma süsteemi konfigureerida, määrates keskkonnamuutujad, kasutades pakettide lisamiseks Condat, installides graafikadraivereid ja keelates hangchecki. Tööriistakomplekti saab kasutada käsurea liideses (CLI) ja seda saab hõlpsasti integreerida olemasolevatesse projektidesse ilma eriliste muudatusteta.

Toote kasutamine

1. Enne jätkamist konfigureerige oma süsteem, määrates keskkonnamuutujad.
2. Käsurea liidesega (CLI) töötamiseks kasutage skripti setvars.sh, et konfigureerida keskkonnamuutujate kaudu tööriistu oneAPI tööriistakomplektides. Skripti setvars.sh saate hankida üks kord seansi kohta või iga kord, kui avate uue terminaliakna. Skripti setvars.sh leiate oma oneAPI installi juurkaustast.
3. Aktiveerige vastavalt vajadusele erinevaid conda keskkondi käsuga "conda activate ”. AI komplekt sisaldab Conda keskkondi TensorFlow (CPU), TensorFlow koos Inteli laiendusega S jaoksample TensorFlow (GPU), PyTorch koos Inteli laiendusega PyTorchi (XPU) jaoks ja Intel oneCCL sidemed PyTorchi (CPU) jaoks.
4. Tutvuge iga keskkonnaga seotud teemaga Alustamine SampLisateabe saamiseks iga keskkonna kasutamise kohta leiate kasutusjuhendi tabelist lingi.

Järgmised juhised eeldavad, et olete installinud Intel® oneAPI tarkvara. Installimisvalikute kohta vaadake Inteli AI Analyticsi tööriistakomplekti lehte. Järgige neid samme, et luua ja käitada kuiampkoos Intel® AI Analytics Toolkitiga (AI Kit):

1. Seadistage oma süsteem.
2. Ehitage ja käivitage Sample.

MÄRKUS. Standardsed Pythoni installid ühilduvad täielikult AI komplektiga, kuid eelistatud on Intel® Distribution for Python*.
Selle tööriistakomplektiga kasutamiseks ei ole teie olemasolevates projektides vaja mingeid erilisi muudatusi teha.

Selle tööriistakomplekti komponendid

AI komplekt sisaldab

• Intel® optimeerimine PyTorchi jaoks*: Intel® oneAPI Deep Neural Network Library (oneDNN) sisaldub PyTorchis sügava õppimise matemaatikatuuma vaiketeegina.
• Intel® laiendus PyTorchile: Intel® laiendus PyTorchile* laiendab PyTorchi* võimalusi ajakohaste funktsioonide ja optimeeringutega, et Inteli riistvara jõudlust veelgi suurendada.
• Intel® optimeerimine TensorFlow jaoks*: see versioon integreerib üheDNN-i primitiivid TensorFlow käitusaega, et kiirendada jõudlust.
• Intel® Extension for TensorFlow: Intel® Extension for TensorFlow* on heterogeenne, suure jõudlusega süvaõppe laienduse pistikprogramm, mis põhineb TensorFlow PluggableDevice liidesel. See laienduse pistikprogramm toob AI töökoormuse kiirendamiseks Inteli XPU (GPU, CPU jne) seadmed TensorFlow avatud lähtekoodiga kogukonda.
• Intel® Distribution for Python*: saavutage Pythoni rakenduse kiirem jõudlus kohe karbist välja võttes, ilma koodi muutmata või minimaalselt. See distributsioon on integreeritud Intel® Performance Libraries -teekidega, nagu Intel® oneAPI Math Kernel Library ja Intel®oneAPI Data Analytics Library.
• Intel® Distribution of Modin* (saadaval ainult Anaconda kaudu), mis võimaldab teil sujuvalt skaleerida eeltöötlust mitme sõlme vahel, kasutades seda intelligentset jaotatud andmeraami teeki, millel on pandadega identne API. See distributsioon on saadaval ainult Intel® AI Analyticsi tööriistakomplekti installimisel koos Conda* paketihalduriga.
• Intel® Neural Compressor : juurutage kiiresti madala täpsusega järelduslahendusi populaarsetes süvaõppe raamistikes, nagu TensorFlow*, PyTorch*, MXNet* ja ONNX* (Open Neural Network Exchange) käitusaeg.
• Intel® Extension for Scikit-learn*: sujuv viis Scikit-learni rakenduse kiirendamiseks Intel® oneAPI Data Analytics Library (oneDAL) abil.
  Scikit-learni parandamine muudab selle päriselu probleemide lahendamiseks hästi sobivaks masinõpperaamistikuks.
• Inteli optimeeritud XGBoost: see hästi tuntud masinõppepakett gradientvõimendatud otsustuspuude jaoks sisaldab Intel®-i arhitektuuride sujuvat sisselülitatavat kiirendust, mis kiirendab märkimisväärselt mudeli väljaõpet ja parandab täpsust paremate prognooside jaoks.

Seadistage oma süsteem – Intel® AI Analyticsi tööriistakomplekt

Kui te pole AI Analyticsi tööriistakomplekti veel installinud, vaadake jaotist Intel® AI Analytics Toolkiti installimine. Süsteemi konfigureerimiseks määrake enne jätkamist keskkonnamuutujad.

 

Määrake CLI arendamiseks keskkonnamuutujad
Käsurea liidesega (CLI) töötamiseks konfigureeritakse oneAPI tööriistakomplektide tööriistad
keskkonnamuutujad. Keskkonnamuutujate määramiseks setvarsi skripti hankimise teel tehke järgmist.

Valik 1: allikas setvars.sh üks kord seansi kohta
Allikas setvars.sh iga kord, kui avate uue terminaliakna:

Skripti setvars.sh leiate oma oneAPI installi juurkaustast, mis on tavaliselt /opt/intel/oneapi/ süsteemiüleste installide jaoks ja ~/intel/oneapi/ erainstallatsioonide jaoks.

Süsteemi hõlmavate installide jaoks (nõuab juur- või sudoõigusi):

• . /opt/intel/oneapi/setvars.sh

Erapaigaldiste jaoks:

• . ~/intel/oneapi/setvars.sh

2. valik: setvars.sh ühekordne seadistamine
Kui soovite, et keskkond oleks teie projektide jaoks automaatselt seadistatud, lisage käsuallikas
/setvars.sh käivitusskriptis, kus see automaatselt välja kutsutakse (asendada
koos teega teie oneAPI installimiskohta). Vaikimisi installimise asukohad on /opt/
intel/oneapi/ süsteemiüleste installide jaoks (nõuab juur- või sudo õigusi) ja ~/intel/oneapi/ erainstallimiseks.
Näiteksample, saate lisada allika /setvars.sh käsule ~/.bashrc või ~/.bashrc_profile või ~/.profile file. Kõigi süsteemi kontode sätete püsivaks muutmiseks looge oma süsteemi failis /etc/pro üherealine .sh-skriptfile.d kaust, mille allikaks on setvars.sh (lisateavet leiate keskkonnamuutujate Ubuntu dokumentatsioonist).

MÄRKUS
Skripti setvars.sh saab hallata konfiguratsiooni abil file, mis on eriti kasulik siis, kui peate initsialiseerima konkreetsed teekide või kompilaatori versioonid, selle asemel, et vaikimisi kasutada uusimat versiooni. Lisateavet leiate jaotisest Konfiguratsiooni kasutamine File Setvars.sh haldamiseks. Kui teil on vaja keskkonda seadistada mitte-POSIX-i kestas, vaadake lisateabe saamiseks jaotist OneAPI arenduskeskkonna häälestus.

Järgmised sammud

• Kui te ei kasuta Condat ega arenda GPU jaoks, looge ja käivitage Sample projekt.
• Conda kasutajate jaoks jätkake järgmise jaotisega.
• GPU-l arendamiseks jätkake jaotisega GPU kasutajad

Conda keskkonnad selles tööriistakomplektis
Tehisintellekti komplekt sisaldab mitut conda keskkonda. Iga keskkonda kirjeldatakse allolevas tabelis. Kui olete seadistanud keskkonnamuutujad CLI-keskkonnale, nagu eelnevalt kirjeldatud, saate seejärel aktiveerida erinevaid conda keskkondi järgmise käsuga:

• conda aktiveerida

Lisateabe saamiseks uurige iga keskkonnaga seotud jaotist Alustamine Samplingitud allolevas tabelis.

Kasutage Conda Clone funktsiooni, et lisada pakette mittejuurkasutajana
Inteli AI Analyticsi tööriistakomplekt on installitud oneapi kausta, mille haldamiseks on vaja administraatoriõigusi. Võib-olla soovite Conda* abil uusi pakette lisada ja hooldada, kuid te ei saa seda teha ilma juurjuurdepääsuta. Või teil võib olla juurjuurdepääs, kuid te ei soovi iga kord Conda aktiveerimisel administraatori parooli sisestada.

Keskkonna haldamiseks ilma juurjuurdepääsu kasutamata kasutage Conda kloonimise funktsiooni, et kloonida vajalikud paketid kausta väljaspool /opt/intel/oneapi/ asuvasse kausta:

1. Tuvastage samas terminaliaknas, kus käivitasite setvars.sh, oma süsteemi Conda keskkonnad:
   • conda env nimekiri
     Näete sarnaseid tulemusi:
2. Keskkonna uude kausta kloonimiseks kasutage kloonimise funktsiooni. EksisampAllpool on uue keskkonna nimi usr_intelpython ja kloonitava keskkonna nimi base (nagu on näidatud ülaloleval pildil).
   • conda create –name usr_intelpython –klooni alus
     Ilmuvad klooni üksikasjad:

1. Aktiveerige uus keskkond, et võimaldada pakettide lisamise võimalus. conda aktiveerib usr_intelpython
2. Veenduge, et uus keskkond oleks aktiivne. conda env nimekiri
   Nüüd saate arendada, kasutades Conda keskkonda Intel Distribution for Python jaoks.
3. TensorFlow* või PyTorch* keskkonna aktiveerimiseks tehke järgmist.

TensorFlow

• conda aktiveerib tensorflow

PyTorch

• conda aktiveerib pytorchi

Järgmised sammud

• Kui te ei arenda GPU jaoks, looge ja käivitage Sample projekt.
• GPU-l arendamiseks jätkake jaotisega GPU kasutajad.

GPU kasutajad
Neile, kes arendavad GPU-d, järgige neid samme.

Installige GPU draiverid
Kui järgisite GPU draiverite installimiseks installijuhendis toodud juhiseid, võite selle sammu vahele jätta. Kui te pole draivereid installinud, järgige installijuhendis olevaid juhiseid.

Lisa kasutaja videogruppi
Graafikaprotsessori arvutustöökoormuste puhul ei ole tavakasutajatel tavaliselt juurdepääsu GPU-seadmele. Lisage videogruppi kindlasti oma tavakasutaja(d); vastasel juhul ebaõnnestuvad GPU-seadme jaoks kompileeritud binaarfailid, kui neid käivitab tavakasutaja. Selle probleemi lahendamiseks lisage videorühma mitte-juurkasutaja:

• sudo usermod -a -G video

Keela Hangcheck
Rakenduste puhul, millel on pikaajaline GPU arvutuskoormus loomulikes keskkondades, keelake hangcheck. Seda ei soovitata virtualiseerimiseks ega muuks GPU tavakasutuseks, näiteks mängimiseks.

Töökoormus, mille GPU riistvara käivitamine võtab rohkem kui neli sekundit, on pikk töökoormus. Vaikimisi loetakse üksikud lõimed, mis kvalifitseeruvad pikaajaliseks töökoormuseks, riputatuks ja need lõpetatakse. Hangchecki ajalõpu perioodi keelamisega saate seda probleemi vältida.

MÄRKUS. Kui kernel on värskendatud, on hangcheck automaatselt lubatud. Käivitage allolev protseduur pärast iga kerneli värskendust, et tagada hangchecki keelamine.

1. Avage terminal.
2. Avage grub file failis /etc/default.
3. Müras file, leidke rida GRUB_CMDLINE_LINUX_DEFAULT=”” .
4. Sisestage see tekst jutumärkide (“”) vahele:
5. Käivitage see käsk:
   sudo update-grub
6. Taaskäivitage süsteem. Hangcheck jääb keelatuks.

Järgmine samm
Nüüd, kui olete oma süsteemi konfigureerinud, jätkake S-i koostamisega ja käivitamisegaample projekt.

Ehitage ja käivitage Sample käsurea kasutamine

Intel® AI Analyticsi tööriistakomplekt
Selles jaotises käivitate lihtsa projekti "Tere maailm", et tutvuda ehitusprojektide protsessiga ja seejärel koostada oma projekt.

MÄRKUS. Kui te pole veel oma arenduskeskkonda konfigureerinud, minge jaotisse Süsteemi konfigureerimine ja naaske sellele lehele. Kui olete oma süsteemi konfigureerimise sammud juba lõpetanud, jätkake allolevate sammudega.

Käsurealt töötades saate kasutada kas terminaliakent või Visual Studio Code*. Lisateavet VS-koodi kohaliku kasutamise kohta leiate jaotisest Visual Studio koodi põhikasutus ühe API-ga Linuxis*. VS-koodi kaugkasutamiseks vaadake jaotist Visual Studio koodi kaugarendus ühe API-ga Linuxis*.

Ehitage ja käivitage Sample projekt
Sampenne s-i koostamist tuleb alltoodud les teie süsteemi kloonidaampprojekt:

CMake'i toetavate komponentide loendi vaatamiseks vaadake jaotist CMake'i kasutamine koos oneAPI rakendustega.

Ehitage oma projekt
Olemasolevates Pythoni projektides pole vaja mingeid erilisi muudatusi, et hakata neid selle tööriistakomplektiga kasutama. Uute projektide puhul järgib protsess täpselt s loomise protsessiample Hello World projektid. Vaadake jaotist Hello World README files juhiste saamiseks.

Toimivuse maksimeerimine
Saate hankida dokumentatsiooni, mis aitab teil TensorFlow või PyTorchi jõudlust maksimeerida.

Seadistage oma keskkond

MÄRKUS. Kui teie virtuaalne keskkond pole saadaval või kui soovite oma virtuaalkeskkonda pakette lisada, veenduge, et olete täitnud jaotises Conda klooni funktsiooni kasutamine pakettide lisamiseks mittejuurkasutajana toodud juhised.

Kui arendate väljaspool konteinerit, hankige Intel® Distribution for Python* kasutamiseks järgmine skript:

• • /setvars.sh
• kus on koht, kuhu selle tööriistakomplekti installisite. Vaikimisi on installikataloog:
• Juur- või sudoinstallatsioonid: /opt/intel/oneapi
• Kohalike kasutajate installid: ~/intel/oneapi

MÄRKUS: Skripti setvars.sh saab hallata konfiguratsiooni abil file, mis on eriti kasulik siis, kui peate initsialiseerima konkreetsed teekide või kompilaatori versioonid, selle asemel, et vaikimisi kasutada uusimat versiooni. Lisateavet leiate jaotisest Konfiguratsiooni kasutamine File Setvars.sh haldamiseks. Kui teil on vaja keskkonda seadistada mitte-POSIX-i kestas, vaadake rohkem konfiguratsioonisuvandeid jaotisest OneAPI arenduskeskkonna häälestus.

Keskkondade vahetamiseks peate esmalt aktiivse keskkonna deaktiveerima.
Järgmised eksample demonstreerib keskkonna konfigureerimist, TensorFlow* aktiveerimist ja seejärel Pythoni Intel Distributioni naasmist:

Laadige alla konteiner

Intel® AI Analyticsi tööriistakomplekt
Konteinerid võimaldavad teil seadistada ja konfigureerida keskkondi ühe API rakenduste loomiseks, käitamiseks ja profileerimiseks ning levitada neid piltide abil:

• Saate installida pildi, mis sisaldab keskkonda, mis on eelnevalt konfigureeritud kõigi vajalike tööriistadega, ja seejärel arendada seda selles keskkonnas.
• Saate keskkonna salvestada ja kasutada pilti selle keskkonna teisaldamiseks teise masinasse ilma täiendava häälestuseta.
• Vajadusel saate valmistada konteinereid erinevate keelte ja käitusaegade, analüüsitööriistade või muude tööriistadega.

Laadige alla Docker* pilt
Dockeri* pildi saate alla laadida konteinerite hoidlast.

MÄRKUS. Dockeri kujutise suurus on ~5 GB ja allalaadimiseks võib kuluda ~15 minutit. See nõuab 25 GB kettaruumi.

1. Määratlege pilt:
   image=intel/oneapi-aikit docker tõmba "$image"
2. Tõmmake pilt.
   docker pull "$image"

Kui pilt on alla laaditud, jätkake jaotisega Konteinerite kasutamine käsureaga.

Konteinerite kasutamine käsureaga
Intel® AI Analytics Toolkit Laadige otse alla eelehitatud konteinerid. Allolev protsessori käsk jätab teid interaktiivsesse režiimi konteineri sees asuva käsureale.

CPU
image=intel/oneapi-aikit docker käivitage -it “$image”

Intel® Advisori, Intel® Inspectori või VTune™ kasutamine konteineritega
Nende tööriistade kasutamisel tuleb konteinerile pakkuda lisavõimalusi: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE

• Docker Run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it “$image”

Cloud CI süsteemide kasutamine

Cloud CI süsteemid võimaldavad teil tarkvara automaatselt luua ja testida. Vaadake näiteks repot githubisampvähem konfiguratsiooni files, mis kasutavad populaarsete pilve-CI süsteemide jaoks oneAPI-d.

Intel® AI Analyticsi tööriistakomplekti tõrkeotsing

Märkused ja lahtiütlused

Inteli tehnoloogiad võivad vajada lubatud riistvara, tarkvara või teenuse aktiveerimist. Ükski toode ega komponent ei saa olla täiesti turvaline.
Teie kulud ja tulemused võivad erineda.

© Intel Corporation. Intel, Inteli logo ja muud Inteli kaubamärgid on Intel Corporationi või selle tütarettevõtete kaubamärgid. Teisi nimesid ja kaubamärke võidakse pidada teiste omandiks.

Toodete ja toimivuse teave

Jõudlus sõltub kasutusest, konfiguratsioonist ja muudest teguritest. Lisateavet leiate aadressilt www.Intel.com/PerformanceIndex.
Teade redaktsiooni nr 20201201

See dokument ei anna intellektuaalomandi õiguste litsentsi (otsesõnalist ega kaudset, tõkestamise teel või muul viisil). Kirjeldatud tooted võivad sisaldada konstruktsiooni vigu või vigu, mida nimetatakse vigadeks, mis võivad põhjustada toote kõrvalekaldeid avaldatud spetsifikatsioonidest. Praegused iseloomustatud vead on saadaval nõudmisel.

Intel loobub kõikidest otsestest ja kaudsetest garantiidest, sealhulgas ilma piiranguteta kaudsetest garantiidest kaubeldavuse, konkreetseks otstarbeks sobivuse ja mitterikkumise kohta, samuti mis tahes garantiidest, mis tulenevad toimivusest, tehingute käigust või kaubanduses kasutamisest.

Dokumendid / Ressursid

Intel AI Analyticsi tööriistakomplekt Linuxi jaoks [pdfKasutusjuhend AI Analyticsi tööriistakomplekt Linuxile, AI Analyticsi tööriistakomplekt, Linuxi Analyticsi tööriistakomplekt, Analyticsi tööriistakomplekt, tööriistakomplekt

Viited

• Kasutusjuhend