„Intel AI Analytics Toolkit“, skirta „Linux“.

Informacija apie produktą

AI rinkinys yra įrankių rinkinys, apimantis kelias conda aplinkas mašininiam mokymuisi ir gilaus mokymosi projektams. Tai apima „TensorFlow“, „PyTorch“ ir „Intel oneCCL Bindings“ aplinkas. Tai leidžia vartotojams konfigūruoti savo sistemą nustatant aplinkos kintamuosius, naudojant „Conda“ paketams pridėti, įdiegti grafikos tvarkykles ir išjungti „hangcheck“. Įrankių rinkinys gali būti naudojamas komandų eilutės sąsajoje (CLI) ir gali būti lengvai integruotas į esamus projektus be jokių specialių pakeitimų.

Produkto naudojimas

1. Prieš tęsdami sukonfigūruokite sistemą nustatydami aplinkos kintamuosius.
2. Norėdami dirbti su komandų eilutės sąsaja (CLI), naudokite scenarijų setvars.sh, kad sukonfigūruotumėte įrankius oneAPI įrankių rinkiniuose naudodami aplinkos kintamuosius. Galite gauti setvars.sh scenarijų vieną kartą per seansą arba kiekvieną kartą, kai atidarote naują terminalo langą. Scenarijus setvars.sh yra jūsų oneAPI diegimo šakniniame aplanke.
3. Jei reikia, suaktyvinkite skirtingas conda aplinkas naudodami komandą „conda activate “. AI rinkinyje yra Conda aplinkos, skirtos „TensorFlow“ (CPU), „TensorFlow“ su „Intel“ plėtiniu, skirtu Sample TensorFlow (GPU), „PyTorch“ su „Intel“ plėtiniu, skirta „PyTorch“ (XPU), ir „Intel oneCCL Bindings“, skirta „PyTorch“ (CPU).
4. Naršykite su kiekviena aplinka susijusią Darbo pradžia SampDaugiau informacijos apie tai, kaip naudoti kiekvieną aplinką, rasite vartotojo vadove pateiktoje lentelėje.

Šiose instrukcijose daroma prielaida, kad įdiegėte „Intel® oneAPI“ programinę įrangą. Diegimo parinktis rasite „Intel AI Analytics Toolkit“ puslapyje. Atlikite šiuos veiksmus, kad sukurtumėte ir paleistumėte kaipampsu Intel® AI Analytics Toolkit (AI Kit):

1. Sukonfigūruokite savo sistemą.
2. Sukurkite ir paleiskite Sample.

PASTABA: Standartiniai Python įrenginiai visiškai suderinami su AI rinkiniu, tačiau pirmenybė teikiama „Intel® Distribution for Python“*.
Nereikia jokių specialių esamų projektų modifikacijų, kad pradėtumėte juos naudoti su šiuo įrankių rinkiniu.

Šio įrankių rinkinio komponentai

Į AI rinkinį įeina

• „Intel®“ optimizavimas, skirtas „PyTorch“*: „Intel® oneAPI Deep Neural Network Library“ (oneDNN) įtraukta į „PyTorch“ kaip numatytoji matematikos branduolio biblioteka, skirta giliam mokymuisi.
• „Intel®“ plėtinys, skirtas „PyTorch“: „Intel®“ plėtinys, skirtas PyTorch*, išplečia „PyTorch“* galimybes su naujausiomis funkcijomis ir optimizavimu, kad „Intel“ aparatūros našumas būtų padidintas.
• „Intel®“ optimizavimas, skirtas „TensorFlow“*: ši versija integruoja primityvus iš oneDNN į „TensorFlow“ vykdymo laiką, kad būtų padidintas našumas.
• „Intel® Extension for TensorFlow“: „Intel® Extension for TensorFlow*“ yra nevienalytis, didelio našumo gilaus mokymosi plėtinio papildinys, pagrįstas TensorFlow PluggableDevice sąsaja. Šis plėtinio papildinys įtraukia „Intel XPU“ (GPU, procesoriaus ir kt.) įrenginius į „TensorFlow“ atvirojo kodo bendruomenę, kad būtų paspartintas AI darbo krūvis.
• „Intel® Distribution for Python“*: padidinkite „Python“ programos našumą iš karto, atlikdami minimalius kodo pakeitimus arba be jo. Šis platinimas yra integruotas su „Intel® Performance Libraries“, pvz., „Intel® oneAPI Math Kernel Library“ ir „Intel®oneAPI Data Analytics Library“.
• Intel® Distribution of Modin* (pasiekiama tik per Anaconda), kuri leidžia sklandžiai išplėsti išankstinį apdorojimą keliuose mazguose, naudojant šią išmanią, paskirstytą duomenų rėmelių biblioteką su identiška pandoms skirta API. Šis platinimas pasiekiamas tik įdiegus „Intel® AI Analytics Toolkit“ su „Conda* Package Manager“.
• „Intel® Neural Compressor“: greitai įdiekite mažo tikslumo išvadų sprendimus populiariose gilaus mokymosi sistemose, tokiose kaip TensorFlow*, PyTorch*, MXNet* ir ONNX* (Open Neural Network Exchange) vykdymo laikas.
• Intel® plėtinys, skirtas Scikit-learn*: sklandus būdas pagreitinti Scikit-learn taikomąją programą naudojant Intel® oneAPI duomenų analizės biblioteką (oneDAL).
  „Scikit-learn“ pataisymas tampa puikiai tinkama mašininio mokymosi sistema, skirta realaus gyvenimo problemoms spręsti.
• „XGBoost Optimized by Intel“: šis gerai žinomas automatinio mokymosi paketas, skirtas gradientu skatinamiems sprendimų medžiams, apima vientisą „Intel®“ architektūrų spartinimą, kuris žymiai pagreitina modelio mokymą ir pagerina tikslumą, kad būtų galima geriau prognozuoti.

Konfigūruokite savo sistemą – „Intel® AI Analytics Toolkit“.

Jei dar neįdiegėte AI Analytics įrankių rinkinio, žr. „Intel® AI Analytics Toolkit“ diegimas. Norėdami sukonfigūruoti sistemą, prieš tęsdami nustatykite aplinkos kintamuosius.

 

Nustatykite aplinkos kintamuosius CLI kūrimui
Norint dirbti su komandų eilutės sąsaja (CLI), „oneAPI“ įrankių rinkinių įrankiai sukonfigūruojami naudojant
aplinkos įvairovė. Norėdami nustatyti aplinkos kintamuosius naudodami setvars scenarijų:

1 parinktis: šaltinis setvars.sh vieną kartą per seansą
Šaltinis setvars.sh kiekvieną kartą atidarius naują terminalo langą:

Scenarijų setvars.sh galite rasti savo oneAPI diegimo šakniniame aplanke, kuris paprastai yra /opt/intel/oneapi/, skirtas visos sistemos diegimui, ir ~/intel/oneapi/ privatiems diegimams.

Įrenginiams visoje sistemoje (reikia root arba sudo teisių):

• . /opt/intel/oneapi/setvars.sh

Privatiems įrengimams:

• . ~/intel/oneapi/setvars.sh

2 parinktis: vienkartinė setvars.sh sąranka
Jei norite, kad aplinka būtų automatiškai nustatyta jūsų projektams, įtraukite komandų šaltinį
/setvars.sh paleisties scenarijuje, kur jis bus iškviestas automatiškai (pakeiskite
su keliu į jūsų oneAPI diegimo vietą). Numatytosios diegimo vietos yra /opt/
intel/oneapi/ visos sistemos diegimui (reikia root arba sudo privilegijų) ir ~/intel/oneapi/ privatiems įrenginiams.
Pavyzdžiui,ample, galite pridėti šaltinį /setvars.sh komandą į ~/.bashrc arba ~/.bashrc_profile arba ~/.profile file. Kad nustatymai būtų nuolatiniai visoms sistemos paskyroms, sukurkite vienos eilutės .sh scenarijų savo sistemos aplanke /etc/profile.d aplankas, kuriame yra setvars.sh šaltinis (daugiau informacijos ieškokite Ubuntu aplinkos kintamųjų dokumentacijoje).

PASTABA
Scenarijų setvars.sh galima valdyti naudojant konfigūraciją file, o tai ypač naudinga, jei reikia inicijuoti konkrečias bibliotekų ar kompiliatoriaus versijas, o ne nustatyti „naujausią“ versiją. Norėdami gauti daugiau informacijos, žr. Konfigūracijos naudojimas File Norėdami valdyti Setvars.sh.. Jei reikia nustatyti aplinką ne POSIX apvalkale, daugiau konfigūravimo parinkčių rasite skiltyje „oneAPI Development Environment Setup“.

Kiti žingsniai

• Jei nenaudojate „Conda“ arba nekuriate GPU, sukurkite ir paleiskite Sample projektas.
• „Conda“ naudotojams pereikite prie kito skyriaus.
• Jei norite kurti GPU, pereikite prie GPU naudotojų

„Conda Environments“ šiame įrankių rinkinyje
Į AI rinkinį įtrauktos kelios conda aplinkos. Kiekviena aplinka aprašyta toliau esančioje lentelėje. Nustatę aplinkos kintamuosius į CLI aplinką, kaip nurodyta anksčiau, galite suaktyvinti skirtingas conda aplinkas, jei reikia, naudodami šią komandą:

• conda aktyvuoti

Norėdami gauti daugiau informacijos, peržiūrėkite su kiekviena aplinka susijusią Darbo pradžia Sampžemiau esančioje lentelėje.

Naudokite Conda Clone funkciją, kad pridėtumėte paketus kaip ne root naudotojas
„Intel AI Analytics“ įrankių rinkinys įdiegtas „oneapi“ aplanke, kuriam valdyti reikia root teisių. Galbūt norėsite pridėti ir prižiūrėti naujus paketus naudodami Conda*, bet negalite to padaryti be root prieigos. Arba galite turėti root prieigą, bet nenorite įvesti root slaptažodžio kiekvieną kartą, kai suaktyvinate Conda.

Norėdami tvarkyti aplinką nenaudodami šakninės prieigos, naudokite Conda klonavimo funkciją, kad klonuotų reikiamus paketus į aplanką, esantį už /opt/intel/oneapi/ aplanko:

1. Tame pačiame terminalo lange, kuriame paleidote setvars.sh, nustatykite Conda aplinkas savo sistemoje:
   • conda env sąrašas
     Pamatysite panašius rezultatus:
2. Norėdami klonuoti aplinką į naują aplanką, naudokite klonavimo funkciją. BuvusiojeampŽemiau, naujoji aplinka pavadinta usr_intelpython, o klonuojama aplinka pavadinta baze (kaip parodyta paveikslėlyje aukščiau).
   • conda create –name usr_intelpython –klono bazė
     Bus rodoma klono informacija:

1. Suaktyvinkite naują aplinką, kad įgalintumėte galimybę pridėti paketus. conda aktyvuoti usr_intelpython
2. Patikrinkite, ar nauja aplinka aktyvi. conda env sąrašas
   Dabar galite kurti naudodami „Conda“ aplinką, skirtą „Intel Distribution for Python“.
3. Norėdami suaktyvinti TensorFlow* arba PyTorch* aplinką:

TensorFlow

• conda aktyvuoti tensorflow

PyTorch

• conda aktyvuoti pytorch

Kiti žingsniai

• Jei kuriate ne GPU, sukurkite ir paleiskite Sample projektas.
• Jei norite kurti GPU, pereikite prie GPU naudotojų.

GPU vartotojai
Tiems, kurie kuria GPU, atlikite šiuos veiksmus:

Įdiekite GPU tvarkykles
Jei diegdami GPU tvarkykles laikėtės diegimo vadove pateiktomis instrukcijomis, šį veiksmą galite praleisti. Jei neįdiegėte tvarkyklių, vadovaukitės diegimo vadove pateiktomis instrukcijomis.

Pridėti vartotoją prie vaizdo įrašų grupės
Naudojant GPU skaičiavimo darbo krūvius, ne root (įprasti) vartotojai paprastai neturi prieigos prie GPU įrenginio. Į vaizdo įrašų grupę būtinai įtraukite įprastą (-us) naudotoją (-us); kitu atveju GPU įrenginiui sukompiliuoti dvejetainiai failai suges, kai juos vykdys įprastas vartotojas. Norėdami išspręsti šią problemą, pridėkite ne root naudotoją prie vaizdo įrašų grupės:

• sudo usermod -a -G vaizdo įrašas

Išjungti „Hangcheck“.
Programoms su ilgai veikiančiomis GPU skaičiavimo apkrovomis vietinėje aplinkoje išjunkite „hangcheck“. Tai nerekomenduojama virtualizuojant ar naudojant kitus standartinius GPU naudojimo būdus, pvz., žaidimus.

Darbo krūvis, kuriam reikia daugiau nei keturių sekundžių, kol GPU aparatinė įranga paleidžiama, yra ilgas darbo krūvis. Pagal numatytuosius nustatymus atskiros gijos, kurios atitinka ilgalaikius darbo krūvius, laikomos pakabintomis ir nutraukiamos. Išjungę „hangcheck“ skirtąjį laikotarpį galite išvengti šios problemos.

PASTABA: Jei branduolys atnaujinamas, automatiškai įjungiamas „hangcheck“. Atlikite toliau pateiktą procedūrą po kiekvieno branduolio atnaujinimo, kad įsitikintumėte, jog „hangcheck“ yra išjungtas.

1. Atidarykite terminalą.
2. Atidarykite grubą file aplanke /etc/default.
3. Gruboje file, raskite eilutę GRUB_CMDLINE_LINUX_DEFAULT=”” .
4. Įveskite šį tekstą tarp kabučių („“):
5. Vykdykite šią komandą:
   sudo update-grub
6. Perkraukite sistemą. „Hangcheck“ lieka išjungtas.

Kitas žingsnis
Dabar, kai sukonfigūravote savo sistemą, pereikite prie Sukurti ir paleisti Sample projektas.

Sukurkite ir paleiskite Sample Komandinės eilutės naudojimas

„Intel® AI Analytics“ įrankių rinkinys
Šiame skyriuje vykdysite paprastą projektą „Sveikas pasaulis“, kad susipažintumėte su statybos projektų procesu, o tada sukursite savo projektą.

PASTABA: Jei dar nesukonfigūravote savo kūrimo aplinkos, eikite į Sistemos konfigūravimas ir grįžkite į šį puslapį. Jei jau atlikote sistemos konfigūravimo veiksmus, tęskite toliau nurodytus veiksmus.

Dirbdami iš komandinės eilutės galite naudoti terminalo langą arba Visual Studio Code*. Norėdami gauti daugiau informacijos apie tai, kaip naudoti VS kodą vietoje, žr. Pagrindinis Visual Studio kodo naudojimas su oneAPI sistemoje Linux*. Norėdami nuotoliniu būdu naudoti VS kodą, žr. Nuotolinis „Visual Studio“ kodo kūrimas naudojant vieną API sistemoje „Linux“*.

Sukurkite ir paleiskite Sample projektas
ŠampŽemiau esantys lesai turi būti klonuoti jūsų sistemoje, kad galėtumėte sukurti sampprojektas:

Norėdami pamatyti komponentų, palaikančių CMake, sąrašą, žr. CMake naudojimas su oneAPI programomis.

Sukurkite savo projektą
Nereikia jokių specialių esamų Python projektų modifikacijų, kad pradėtumėte juos naudoti su šiuo įrankių rinkiniu. Naujų projektų atveju procesas tiksliai seka procesą, naudojamą kuriant sample Hello World projektai. Žr. Hello World README files instrukcijoms.

Maksimalus našumas
Galite gauti dokumentus, kurie padės maksimaliai padidinti „TensorFlow“ arba „PyTorch“ našumą.

Konfigūruokite savo aplinką

PASTABA: Jei jūsų virtualioji aplinka nepasiekiama arba jei norite pridėti paketų į savo virtualią aplinką, įsitikinkite, kad atlikote veiksmus, nurodytus skyriuje „Conda Clone“ funkcijos naudojimas norint pridėti paketus kaip ne root naudotojas.

Jei kuriate ne konteineryje, gaukite šį scenarijų, kad galėtumėte naudoti „Intel® Distribution for Python“*:

• • /setvars.sh
• kur yra vieta, kur įdiegėte šį įrankių rinkinį. Pagal numatytuosius nustatymus diegimo katalogas yra:
• Root arba sudo diegimas: /opt/intel/oneapi
• Vietinio vartotojo diegimas: ~/intel/oneapi

PASTABA: setvars.sh scenarijų galima valdyti naudojant konfigūraciją file, o tai ypač naudinga, jei reikia inicijuoti konkrečias bibliotekų ar kompiliatoriaus versijas, o ne nustatyti „naujausią“ versiją. Norėdami gauti daugiau informacijos, žr. Konfigūracijos naudojimas File valdyti Setvars.sh. Jei reikia nustatyti aplinką ne POSIX apvalkale, daugiau konfigūravimo parinkčių rasite žr. oneAPI kūrimo aplinkos sąranką.

Norėdami perjungti aplinką, pirmiausia turite išjungti aktyvią aplinką.
Šis buvęsample demonstruoja aplinkos konfigūravimą, TensorFlow* aktyvavimą ir grįžimą į „Intel Distribution for Python“:

Atsisiųskite konteinerį

„Intel® AI Analytics“ įrankių rinkinys
Sudėtiniai rodiniai leidžia nustatyti ir konfigūruoti aplinkas, skirtas kurti, vykdyti ir profiliuoti oneAPI programas ir platinti jas naudojant vaizdus:

• Galite įdiegti vaizdą su aplinka, iš anksto sukonfigūruota su visais jums reikalingais įrankiais, tada kurti toje aplinkoje.
• Galite išsaugoti aplinką ir naudoti vaizdą, kad perkeltumėte tą aplinką į kitą įrenginį be papildomos sąrankos.
• Jei reikia, galite paruošti konteinerius su skirtingais kalbų ir vykdymo laiko rinkiniais, analizės įrankiais ar kitais įrankiais.

Atsisiųskite „Docker“* vaizdą
„Docker“* vaizdą galite atsisiųsti iš konteinerių saugyklos.

PASTABA: „Docker“ vaizdas yra ~5 GB, o atsisiuntimas gali užtrukti ~15 minučių. Tam reikės 25 GB vietos diske.

1. Apibrėžkite vaizdą:
   image=intel/oneapi-aikit docker ištraukti „$image“
2. Ištraukite vaizdą.
   docker pull "$image"

Atsisiuntę vaizdą pereikite prie Konteinerių naudojimas su komandų eilute.

Konteinerių naudojimas su komandų eilute
Intel® AI Analytics Toolkit Atsisiųskite iš anksto sukurtus konteinerius tiesiogiai. Toliau pateikta CPU komanda paliks komandų eilutę konteinerio viduje interaktyviuoju režimu.

CPU
image=intel/oneapi-aikit docker paleiskite -it „$image“

Naudojant „Intel® Advisor“, „Intel® Inspector“ arba „VTune™“ su konteineriais
Naudojant šiuos įrankius, konteineriui turi būti suteikiamos papildomos galimybės: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE

• docker paleisti –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it „$image“

Naudojant debesies CI sistemas

Cloud CI sistemos leidžia automatiškai kurti ir išbandyti programinę įrangą. Žr. atpirkimo sandorį „github“, pvzampmažesnės konfigūracijos files, kurios naudoja vienąAPI populiarioms debesų CI sistemoms.

„Intel® AI Analytics Toolkit“ trikčių šalinimas

Pranešimai ir atsakomybės apribojimai

„Intel“ technologijoms gali reikėti įgalintos aparatinės įrangos, programinės įrangos arba paslaugų aktyvinimo. Joks gaminys ar komponentas negali būti visiškai saugūs.
Jūsų išlaidos ir rezultatai gali skirtis.

© Intel Corporation. „Intel“, „Intel“ logotipas ir kiti „Intel“ ženklai yra „Intel Corporation“ arba jos dukterinių įmonių prekių ženklai. Kiti pavadinimai ir prekės ženklai gali būti laikomi kitų nuosavybe.

Informacija apie gaminį ir našumą

Našumas skiriasi priklausomai nuo naudojimo, konfigūracijos ir kitų veiksnių. Sužinokite daugiau adresu www.Intel.com/PerformanceIndex.
Pranešimo peržiūra Nr. 20201201

Šis dokumentas nesuteikia jokios intelektinės nuosavybės teisių licencijos (aiškios ar numanomos, užkertant kelią ar kitaip). Aprašytuose gaminiuose gali būti dizaino defektų arba klaidų, vadinamų errata, dėl kurių gaminys gali nukrypti nuo paskelbtų specifikacijų. Esamos charakteristikos klaidos yra prieinamos pagal pageidavimą.

„Intel“ atsisako visų tiesioginių ir numanomų garantijų, įskaitant, neapsiribojant, numanomas tinkamumo parduoti, tinkamumo tam tikram tikslui ir nepažeidimo garantijas, taip pat bet kokių garantijų, kylančių dėl veiklos, prekybos eigos ar naudojimo prekyboje.

Dokumentai / Ištekliai

„Intel AI Analytics Toolkit“, skirta „Linux“. [pdfVartotojo vadovas AI Analytics Toolkit for Linux, AI Analytics Toolkit, Analytics Toolkit for Linux, Analytics Toolkit, Toolkit

Nuorodos

• Vartotojo vadovas