intel AI Analytics Toolkit vir Linux
Produk inligting
Die AI Kit is 'n gereedskapstel wat verskeie conda-omgewings vir masjienleer- en diepleerprojekte insluit. Dit bevat omgewings vir TensorFlow, PyTorch en Intel oneCCL Bindings. Dit stel gebruikers in staat om hul stelsel op te stel deur omgewingsveranderlikes in te stel, Conda te gebruik om pakkette by te voeg, grafiese drywers te installeer en hangcheck uit te skakel. Die gereedskapstel kan by 'n Command Line Interface (CLI) gebruik word en kan maklik in bestaande projekte geïntegreer word sonder enige spesiale wysigings.
Produkgebruik
- Konfigureer jou stelsel deur omgewingsveranderlikes in te stel voordat jy voortgaan.
- Om by 'n Command Line Interface (CLI) te werk, gebruik die setvars.sh script om die gereedskap in die oneAPI toolkits op te stel via omgewingsveranderlikes. U kan die setvars.sh-skrip een keer per sessie verkry of elke keer as u 'n nuwe terminale venster oopmaak. Die setvars.sh script kan gevind word in die hoofmap van jou oneAPI installasie.
- Aktiveer verskillende conda-omgewings soos nodig via die opdrag "conda aktiveer ”. Die AI Kit bevat conda-omgewings vir TensorFlow (CPU), TensorFlow met Intel Extension for Sample TensorFlow (GPU), PyTorch met Intel Extension for PyTorch (XPU), en Intel oneCCL Bindings for PyTorch (CPU).
- Verken elke omgewing se verwante Aan die gang Sample gekoppel in die tabel wat in die gebruikershandleiding verskaf word vir meer inligting oor hoe om elke omgewing te gebruik.
Die volgende instruksies neem aan dat jy die Intel® oneAPI-sagteware geïnstalleer het. Sien asseblief die Intel AI Analytics Toolkit-bladsy vir installasie-opsies. Volg hierdie stappe om te bou en te hardloop asample met die Intel® AI Analytics Toolkit (AI Kit):
- Stel jou stelsel op.
- Bou en bestuur 'n Sample.
LET WEL: Standaard Python-installasies is ten volle versoenbaar met die AI Kit, maar die Intel® Distribution for Python* word verkies.
Geen spesiale wysigings aan jou bestaande projekte is nodig om dit met hierdie gereedskapstel te begin gebruik nie.
Komponente van hierdie Toolkit
Die KI-stel sluit in
- Intel® Optimization for PyTorch*: Die Intel® oneAPI Deep Neural Network Library (oneDNN) is by PyTorch ingesluit as die verstek wiskunde kernbiblioteek vir diep leer.
- Intel®-uitbreiding vir PyTorch: Intel®-uitbreiding vir PyTorch* brei PyTorch*-vermoëns uit met bygewerkte kenmerke en optimalisering vir 'n ekstra werkverrigtinghupstoot op Intel-hardeware.
- Intel®-optimering vir TensorFlow*: Hierdie weergawe integreer primitiewe van oneDNN in die TensorFlow-looptyd vir versnelde werkverrigting.
- Intel®-uitbreiding vir TensorFlow: Intel®-uitbreiding vir TensorFlow* is 'n heterogene, hoëwerkverrigting diepleeruitbreiding-inprop gebaseer op TensorFlow PluggableDevice-koppelvlak. Hierdie uitbreiding-inprop bring Intel XPU (GPU, CPU, ens.)-toestelle in die TensorFlow oopbrongemeenskap vir AI-werkladingversnelling.
- Intel® Distribution for Python*: Kry vinniger Python-toepassingswerkverrigting reg uit die boks, met minimale of geen veranderinge aan jou kode. Hierdie verspreiding is geïntegreer met Intel® Performance Libraries soos die Intel® oneAPI Math Kernel Library en die Intel®oneAPI Data Analytics Library.
- Intel®-verspreiding van Modin* (slegs beskikbaar deur Anaconda), wat jou in staat stel om voorafverwerking naatloos oor multi nodusse te skaal deur hierdie intelligente, verspreide dataraambiblioteek met 'n identiese API as pandas te gebruik. Hierdie verspreiding is slegs beskikbaar deur die Intel® AI Analytics Toolkit met die Conda* Pakketbestuurder te installeer.
- Intel® Neural Compressor: ontplooi vinnig lae-presisie-afleidingsoplossings op gewilde diepleerraamwerke soos TensorFlow*, PyTorch*, MXNet* en ONNX* (Open Neural Network Exchange) looptyd.
- Intel®-uitbreiding vir Scikit-leer*: 'n Naatlose manier om jou Scikit-leer-toepassing te bespoedig deur die Intel® oneAPI Data Analytics-biblioteek (oneDAL) te gebruik.
Om scikit-learn te pleister maak dit 'n geskikte masjienleerraamwerk vir die hantering van werklike probleme. - XGBoost Geoptimaliseer deur Intel: Hierdie bekende masjienleerpakket vir gradiëntversterkte besluitnemingsbome sluit naatlose, inloopversnelling vir Intel®-argitekture in om modelopleiding aansienlik te versnel en akkuraatheid vir beter voorspellings te verbeter.
Stel jou stelsel op – Intel® AI Analytics Toolkit
As jy nog nie die AI Analytics Toolkit geïnstalleer het nie, verwys na Installeer die Intel® AI Analytics Toolkit. Om jou stelsel op te stel, stel omgewingsveranderlikes in voordat jy voortgaan.
Stel omgewingsveranderlikes vir CLI-ontwikkeling
Vir werk by 'n Command Line Interface (CLI), word die gereedskap in die oneAPI toolkits gekonfigureer via
omgewings veranderlikes. Om omgewingsveranderlikes te stel deur die setvars-skrip te verkry:
Opsie 1: Bron setvars.sh een keer per sessie
Bron setvars.sh elke keer as jy 'n nuwe terminale venster oopmaak:
Jy kan die setvars.sh-skrip in die hoofmap van jou oneAPI-installasie vind, wat tipies /opt/intel/oneapi/ is vir stelselwye installasies en ~/intel/oneapi/ vir private installasies.
Vir stelselwye installasies (vereis root- of sudo-regte):
- . /opt/intel/oneapi/setvars.sh
Vir private installasies:
- . ~/intel/oneapi/setvars.sh
Opsie 2: Eenmalige opstelling vir setvars.sh
Om die omgewing outomaties vir jou projekte op te stel, sluit die opdragbron in
/setvars.sh in 'n opstartskrip waar dit outomaties aangeroep sal word (vervang
met die pad na jou oneAPI-installasieligging). Die verstek installasie liggings is /opt/
intel/oneapi/ vir stelselwye installasies (vereis root- of sudo-regte) en ~/intel/oneapi/ vir private installasies.
Byvoorbeeldample, jy kan die bron byvoeg /setvars.sh opdrag na jou ~/.bashrc of ~/.bashrc_profile of ~/.profile file. Om die instellings permanent te maak vir alle rekeninge op jou stelsel, skep 'n eenlyn .sh script in jou stelsel se /etc/profile.d-lêergids wat setvars.sh bronne (vir meer besonderhede, sien Ubuntu-dokumentasie oor omgewingsveranderlikes).
LET WEL
Die setvars.sh script kan bestuur word met behulp van 'n konfigurasie file, wat veral nuttig is as jy spesifieke weergawes van biblioteke of die samesteller moet inisialiseer, eerder as om na die "nuutste" weergawe te verstek. Vir meer besonderhede, sien Gebruik 'n konfigurasie File om Setvars.sh te bestuur.. As jy die omgewing in 'n nie-POSIX-dop moet opstel, sien eenAPI-ontwikkelingsomgewingopstelling vir meer konfigurasie-opsies.
Volgende stappe
- As jy nie Conda gebruik nie, of ontwikkel vir GPU, bou en hardloop 'n Sampdie projek.
- Vir Conda-gebruikers, gaan voort na die volgende afdeling.
- Gaan voort na GPU-gebruikers om op 'n GPU te ontwikkel
Conda-omgewings in hierdie Toolkit
Daar is verskeie conda-omgewings ingesluit in die AI Kit. Elke omgewing word in die tabel hieronder beskryf. Sodra jy omgewingsveranderlikes op CLI-omgewing gestel het soos voorheen opdrag gegee het, kan jy dan verskillende conda-omgewings aktiveer soos nodig via die volgende opdrag:
- conda aktiveer
Vir meer inligting, verken asseblief elke omgewing se verwante Aan die gang Sample gekoppel in die tabel hieronder.
Gebruik die Conda Clone-funksie om pakkette by te voeg as 'n nie-wortelgebruiker
Die Intel AI Analytics-gereedskapstel is in die oneapi-lêergids geïnstalleer, wat wortelvoorregte vereis om te bestuur. Jy mag dalk nuwe pakkette wil byvoeg en onderhou deur Conda* te gebruik, maar jy kan dit nie sonder worteltoegang doen nie. Of jy het dalk worteltoegang, maar wil nie die wortelwagwoord invoer elke keer as jy Conda aktiveer nie.
Om jou omgewing te bestuur sonder om worteltoegang te gebruik, gebruik die Conda-kloonfunksie om die pakkette wat jy benodig na 'n gids buite die /opt/intel/oneapi/-lêergids te kloon:
- Identifiseer die Conda-omgewings op jou stelsel vanaf dieselfde terminale venster waar jy setvars.sh gehardloop het:
- conda env lys
Jy sal resultate soortgelyk aan hierdie sien:
- conda env lys
- Gebruik die kloonfunksie om die omgewing na 'n nuwe vouer te kloon. In die example hieronder, die nuwe omgewing word usr_intelpython genoem en die omgewing wat gekloon word, word base genoem (soos in die prent hierbo getoon).
- conda skep –naam usr_intelpython –kloonbasis
Die kloonbesonderhede sal verskyn:
- conda skep –naam usr_intelpython –kloonbasis
- Aktiveer die nuwe omgewing om die vermoë om pakkette by te voeg, moontlik te maak. conda aktiveer usr_intelpython
- Verifieer dat die nuwe omgewing aktief is. conda env lys
U kan nou ontwikkel met behulp van die Conda-omgewing vir Intel Distribution for Python. - Om die TensorFlow* of PyTorch* omgewing te aktiveer:
TensorFlow
- conda aktiveer tensorvloei
PyTorch
- conda aktiveer pytorch
Volgende stappe
- As jy nie vir GPU ontwikkel nie, bou en hardloop 'n Sampdie projek.
- Gaan voort na GPU-gebruikers om op 'n GPU te ontwikkel.
GPU-gebruikers
Vir diegene wat op 'n GPU ontwikkel, volg hierdie stappe:
Installeer GPU-bestuurders
As jy die instruksies in die Installasiegids gevolg het om GPU-bestuurders te installeer, kan jy hierdie stap oorslaan. As jy nie die drywers geïnstalleer het nie, volg die aanwysings in die Installasiegids.
Voeg gebruiker by videogroep
Vir GPU-rekenaarwerkladings het nie-wortelgebruikers (normale) gewoonlik nie toegang tot die GPU-toestel nie. Maak seker dat jy jou normale gebruiker(s) by die videogroep voeg; anders sal binaries wat vir die GPU-toestel saamgestel is, misluk wanneer dit deur 'n normale gebruiker uitgevoer word. Om hierdie probleem op te los, voeg die nie-wortelgebruiker by die videogroep:
- sudo usermod -a -G video
Deaktiveer hangkontrole
Deaktiveer hangcheck vir toepassings met langlopende GPU-rekenwerkladings in inheemse omgewings. Dit word nie aanbeveel vir virtualisasies of ander standaardgebruike van GPU, soos speletjies nie.
'n Werklading wat meer as vier sekondes neem vir GPU-hardeware om uit te voer, is 'n langlopende werklading. By verstek word individuele drade wat as langdurige werkladings kwalifiseer, as opgehang beskou en word dit beëindig. Deur die hangcheck-tydperk te deaktiveer, kan jy hierdie probleem vermy.
LET WEL: As die kern opgedateer word, word hangcheck outomaties geaktiveer. Voer die prosedure hieronder uit na elke kernopdatering om te verseker dat hangcheck gedeaktiveer is.
- Maak 'n terminaal oop.
- Maak die grub oop file in /etc/default.
- In die grub file, vind die reël GRUB_CMDLINE_LINUX_DEFAULT=”” .
- Tik hierdie teks tussen die aanhalingstekens (“”):
- Voer hierdie opdrag uit:
sudo update-grub - Herlaai die stelsel. Hangcheck bly gedeaktiveer.
Volgende Stap
Noudat jy jou stelsel gekonfigureer het, gaan voort na Bou en hardloop 'n Sampdie projek.
Bou en bestuur 'n Sample Gebruik die opdragreël
Intel® AI Analytics Toolkit
In hierdie afdeling sal jy 'n eenvoudige "Hallo Wêreld"-projek hardloop om jouself vertroud te maak met die proses van bouprojekte, en dan jou eie projek bou.
LET WEL: As jy nog nie jou ontwikkelingsomgewing opgestel het nie, gaan na Stel jou stelsel in en keer terug na hierdie bladsy. As jy reeds die stappe voltooi het om jou stelsel op te stel, gaan voort met die stappe hieronder.
Jy kan óf 'n terminale venster óf Visual Studio Code* gebruik wanneer jy vanaf die opdragreël werk. Vir besonderhede oor hoe om VS-kode plaaslik te gebruik, sien Basiese gebruik van Visual Studio-kode met oneAPI op Linux*. Om VS-kode op afstand te gebruik, sien Remote Visual Studio Code Development with oneAPI op Linux*.
Bou en bestuur 'n Sampdie projek
Die samples hieronder moet na jou stelsel gekloon word voordat jy die s kan bouampdie projek:
Om 'n lys van komponente te sien wat CMake ondersteun, sien Gebruik CMake om met oneAPI-toepassings.
Bou jou eie projek
Geen spesiale wysigings aan u bestaande Python-projekte is nodig om dit met hierdie gereedskapstel te begin gebruik nie. Vir nuwe projekte volg die proses noukeurig die proses wat gebruik word vir die skep van sampdie Hello World-projekte. Verwys na die Hello World README files vir instruksies.
Maksimering van prestasie
U kan dokumentasie kry om u te help om prestasie vir TensorFlow of PyTorch te maksimeer.
Stel jou omgewing op
LET WEL: As jou virtuele omgewing nie beskikbaar is nie, of as jy pakkette by jou virtuele omgewing wil voeg, maak seker dat jy die stappe in Gebruik die Conda-kloonfunksie om pakkette as 'n nie-wortelgebruiker by te voeg, voltooi het.
As jy buite 'n houer ontwikkel, verkry die volgende script om die Intel® Distribution for Python te gebruik*:
-
- /setvars.sh
- waar is waar jy hierdie gereedskapstel geïnstalleer het. By verstek is die installasiegids:
- Wortel- of sudo-installasies: /opt/intel/oneapi
- Plaaslike gebruikerinstallasies: ~/intel/oneapi
LET WEL: Die setvars.sh script kan bestuur word met behulp van 'n konfigurasie file, wat veral nuttig is as jy spesifieke weergawes van biblioteke of die samesteller moet inisialiseer, eerder as om na die "nuutste" weergawe te verstek. Vir meer besonderhede, sien Gebruik 'n konfigurasie File om Setvars.sh te bestuur. As jy die omgewing in 'n nie-POSIX-dop moet opstel, sien oneAPI-ontwikkelingsomgewingopstelling vir meer konfigurasie-opsies.
Om omgewings te verander, moet jy eers die aktiewe omgewing deaktiveer.
Die volgende example demonstreer die opstel van die omgewing, aktiveer TensorFlow*, en keer dan terug na die Intel Distribution for Python:
Laai 'n houer af
Intel® AI Analytics Toolkit
Houers laat jou toe om omgewings op te stel en op te stel vir die bou, bestuur en profilering van oneAPI-toepassings en dit te versprei met behulp van beelde:
- Jy kan 'n prent installeer wat 'n omgewing bevat wat vooraf opgestel is met al die gereedskap wat jy nodig het, en dan binne daardie omgewing ontwikkel.
- Jy kan 'n omgewing stoor en die prent gebruik om daardie omgewing na 'n ander masjien te skuif sonder bykomende opstelling.
- Jy kan houers voorberei met verskillende stelle tale en looptye, analise-nutsmiddels of ander gereedskap, soos nodig.
Laai Docker*-beeld af
U kan 'n Docker*-prent vanaf die Containers Repository aflaai.
LET WEL: Die Docker-prent is ~5 GB en kan ~15 minute neem om af te laai. Dit sal 25 GB skyfspasie benodig.
- Definieer die beeld:
image=intel/oneapi-aikit docker trek “$image” - Trek die prent.
docker trek "$image"
Sodra jou prent afgelaai is, gaan voort na Gebruik houers met die opdragreël.
Gebruik houers met die opdragreël
Intel® AI Analytics Toolkit Laai voorafgeboude houers direk af. Die opdrag hieronder vir SVE sal jou by 'n opdragprompt, binne die houer, in interaktiewe modus laat.
SVE
image=intel/oneapi-aikit docker run -it “$image”
Gebruik Intel® Advisor, Intel® Inspector of VTune™ met houers
Wanneer hierdie gereedskap gebruik word, moet ekstra vermoëns aan die houer verskaf word: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE
- docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it “$image”
Gebruik Cloud CI Systems
Wolk CI-stelsels laat jou toe om jou sagteware outomaties te bou en te toets. Sien die repo in github vir bvamples van konfigurasie files wat oneAPI gebruik vir die gewilde wolk CI-stelsels.
Probleemoplossing vir die Intel® AI Analytics Toolkit
Kennisgewings en vrywarings
Intel-tegnologie vereis moontlik geaktiveerde hardeware, sagteware of diensaktivering. Geen produk of komponent kan absoluut veilig wees nie.
Jou koste en resultate kan verskil.
© Intel Corporation. Intel, die Intel-logo en ander Intel-merke is handelsmerke van Intel Corporation of sy filiale. Ander name en handelsmerke kan as die eiendom van ander geëis word.
Produk- en prestasie-inligting
Werkverrigting wissel volgens gebruik, konfigurasie en ander faktore. Kom meer te wete by www.Intel.com/PerformanceIndex.
Kennisgewing hersiening #20201201
Geen lisensie (uitdruklik of geïmpliseer, deur estoppel of andersins) tot enige intellektuele eiendomsregte word deur hierdie dokument toegestaan nie. Die produkte wat beskryf word, kan ontwerpfoute of foute bevat wat bekend staan as errata wat kan veroorsaak dat die produk van gepubliseerde spesifikasies afwyk. Huidige gekenmerk errata is beskikbaar op aanvraag.
Intel verwerp alle uitdruklike en geïmpliseerde waarborge, insluitend sonder beperking, die geïmpliseerde waarborge van verhandelbaarheid, geskiktheid vir 'n spesifieke doel, en nie-skending, sowel as enige waarborg wat voortspruit uit die verloop van prestasie, verloop van transaksies of gebruik in handel.
Dokumente / Hulpbronne
 |
intel AI Analytics Toolkit vir Linux [pdf] Gebruikersgids AI Analytics Toolkit vir Linux, AI Analytics Toolkit, Analytics Toolkit vir Linux, Analytics Toolkit, Toolkit |
