intel AI Analytics Toolkit za Linux

Informacije o izdelku

AI Kit je komplet orodij, ki vključuje več okolij conda za strojno učenje in projekte globokega učenja. Vključuje okolja za TensorFlow, PyTorch in Intel oneCCL Bindings. Uporabnikom omogoča, da konfigurirajo svoj sistem z nastavitvijo spremenljivk okolja, uporabo Conde za dodajanje paketov, namestitev grafičnih gonilnikov in onemogočanje hangcheck-a. Komplet orodij je mogoče uporabljati v vmesniku ukazne vrstice (CLI) in ga je mogoče enostavno integrirati v obstoječe projekte brez posebnih sprememb.

Uporaba izdelka

1. Preden nadaljujete, konfigurirajte svoj sistem z nastavitvijo spremenljivk okolja.
2. Za delo na vmesniku ukazne vrstice (CLI) uporabite skript setvars.sh za konfiguracijo orodij v kompletih orodij oneAPI prek spremenljivk okolja. Skript setvars.sh lahko pridobite enkrat na sejo ali vsakič, ko odprete novo terminalsko okno. Skript setvars.sh najdete v korenski mapi vaše namestitve oneAPI.
3. Po potrebi aktivirajte različna okolja conda z ukazom »conda activate ”. Komplet AI Kit vključuje okolja conda za TensorFlow (CPE), TensorFlow z Intel Extension za Sample TensorFlow (GPU), PyTorch z Intelovo razširitvijo za PyTorch (XPU) in Intelove povezave oneCCL za PyTorch (CPE).
4. Raziščite vsako okolje, povezano s prvimi koraki Sample povezava v tabeli v uporabniškem priročniku za več informacij o uporabi posameznega okolja.

Naslednja navodila predvidevajo, da ste namestili programsko opremo Intel® oneAPI. Za možnosti namestitve si oglejte stran Intel AI Analytics Toolkit. Sledite tem korakom za izdelavo in zagon kotampz orodjem Intel® AI Analytics Toolkit (AI Kit):

1. Konfigurirajte svoj sistem.
2. Zgradite in zaženite Sample.

OPOMBA: Standardne namestitve Python so popolnoma združljive s kompletom AI Kit, vendar je prednostna distribucija Intel® za Python*.
Za začetek uporabe s tem kompletom orodij niso potrebne nobene posebne spremembe vaših obstoječih projektov.

Komponente tega kompleta orodij

Komplet AI vključuje

• Intel® Optimization for PyTorch*: Knjižnica globokih nevronskih omrežij Intel® oneAPI (oneDNN) je vključena v PyTorch kot privzeta knjižnica matematičnega jedra za poglobljeno učenje.
• Razširitev Intel® za PyTorch: Razširitev Intel® za PyTorch* razširja zmogljivosti PyTorch* s posodobljenimi funkcijami in optimizacijami za dodatno povečanje zmogljivosti strojne opreme Intel.
• Optimizacija Intel® za TensorFlow*: Ta različica integrira primitive iz oneDNN v izvajalno okolje TensorFlow za pospešeno delovanje.
• Intel® Extension for TensorFlow: Intel® Extension for TensorFlow* je heterogen, visoko zmogljiv razširitveni vtičnik za globoko učenje, ki temelji na vmesniku TensorFlow PluggableDevice. Ta razširitveni vtičnik prinaša naprave Intel XPU (GPE, CPE itd.) v odprtokodno skupnost TensorFlow za pospeševanje delovne obremenitve z umetno inteligenco.
• Distribucija Intel® za Python*: Zagotovite si hitrejše delovanje aplikacij Python takoj po izdelavi, z minimalnimi spremembami kode ali brez njih. Ta distribucija je integrirana s knjižnicami Intel® Performance Libraries, kot sta knjižnica Intel® oneAPI Math Kernel Library in Intel®oneAPI Data Analytics Library.
• Intel® Distribution of Modin* (na voljo samo prek Anaconde), ki vam omogoča brezhibno prilagajanje predprocesiranja v več vozliščih z uporabo te inteligentne, porazdeljene knjižnice podatkovnih okvirov z identičnim API-jem kot pandas. Ta distribucija je na voljo samo z namestitvijo orodja Intel® AI Analytics Toolkit z upraviteljem paketov Conda*.
• Intel® Neural Compressor : hitro uvedite rešitve sklepanja z nizko natančnostjo v priljubljenih ogrodjih globokega učenja, kot so TensorFlow*, PyTorch*, MXNet* in ONNX* (Open Neural Network Exchange) izvajalno okolje.
• Razširitev Intel® za Scikit-learn*: Brezhiben način za pospešitev vaše aplikacije Scikit-learn z uporabo knjižnice Intel® oneAPI Data Analytics Library (oneDAL).
  S popravki scikit-learn postane zelo primeren okvir strojnega učenja za reševanje težav v resničnem življenju.
• XGBoost, ki ga je optimiziral Intel: Ta dobro znani paket strojnega učenja za drevesa odločanja s povečanim gradientom vključuje brezhibno pospeševanje za Intel® arhitekture, ki znatno pospeši usposabljanje modela in izboljša natančnost za boljše napovedi.

Konfigurirajte svoj sistem – Intel® AI Analytics Toolkit

Če še niste namestili AI Analytics Toolkit, glejte Namestitev Intel® AI Analytics Toolkit. Če želite konfigurirati sistem, nastavite spremenljivke okolja, preden nadaljujete.

 

Nastavite spremenljivke okolja za razvoj CLI
Za delo na vmesniku ukazne vrstice (CLI) so orodja v kompletih orodij oneAPI konfigurirana prek
spremenljivke okolja. Če želite nastaviti spremenljivke okolja z uporabo skripta setvars:

Možnost 1: Izvor setvars.sh enkrat na sejo
Source setvars.sh vsakič, ko odprete novo terminalsko okno:

Skript setvars.sh najdete v korenski mapi vaše namestitve oneAPI, ki je običajno /opt/intel/oneapi/ za sistemske namestitve in ~/intel/oneapi/ za zasebne namestitve.

Za sistemske namestitve (zahteva privilegije root ali sudo):

• . /opt/intel/oneapi/setvars.sh

Za zasebne namestitve:

• . ~/intel/oneapi/setvars.sh

2. možnost: Enkratna nastavitev za setvars.sh
Če želite, da se okolje samodejno nastavi za vaše projekte, vključite vir ukaza
/setvars.sh v zagonskem skriptu, kjer bo samodejno priklican (zamenjaj
s potjo do lokacije namestitve oneAPI). Privzete lokacije namestitve so /opt/
intel/oneapi/ za sistemske namestitve (zahteva privilegije root ali sudo) in ~/intel/oneapi/ za zasebne namestitve.
Na primerample, lahko dodate vir /setvars.sh ukaz v vaš ~/.bashrc ali ~/.bashrc_profile ali ~/.profile file. Če želite, da bodo nastavitve trajne za vse račune v vašem sistemu, ustvarite enovrstični skript .sh v /etc/pro vašega sistemafile.d mapa, ki izvira setvars.sh (za več podrobnosti glejte dokumentacijo Ubuntu o okoljskih spremenljivkah).

OPOMBA
Skript setvars.sh je mogoče upravljati s konfiguracijo file, kar je še posebej koristno, če morate inicializirati določene različice knjižnic ali prevajalnika, namesto da privzeto nastavite »najnovejšo« različico. Za več podrobnosti glejte Uporaba konfiguracije File za upravljanje Setvars.sh.. Če morate nastaviti okolje v lupini, ki ni POSIX, glejte OneAPI Development Environment Setup za več konfiguracijskih možnosti.

Naslednji koraki

• Če ne uporabljate Conde ali razvijate za GPE, zgradite in zaženite Sample Project.
• Za uporabnike Conda nadaljujte z naslednjim razdelkom.
• Za razvoj na GPU nadaljujte na Uporabniki GPE

Okolja Conda v tem kompletu orodij
V kompletu AI je vključenih več okolij conda. Vsako okolje je opisano v spodnji tabeli. Ko nastavite spremenljivke okolja na okolje CLI, kot je bilo opisano prej, lahko po potrebi aktivirate različna okolja conda z naslednjim ukazom:

• conda aktivirati

Če želite več informacij, prosimo, raziščite za vsako okolje povezano Uvod Sample povezava v spodnji tabeli.

Uporabite funkcijo Conda Clone za dodajanje paketov kot nekorenski uporabnik
Zbirka orodij Intel AI Analytics je nameščena v mapi oneapi, za upravljanje katere so potrebne korenske pravice. Morda boste želeli dodati in vzdrževati nove pakete z uporabo Conda*, vendar tega ne morete storiti brez korenskega dostopa. Lahko pa imate korenski dostop, vendar ne želite vnesti korenskega gesla vsakič, ko aktivirate Condo.

Če želite upravljati svoje okolje brez uporabe korenskega dostopa, uporabite funkcijo kloniranja Conda za kloniranje paketov, ki jih potrebujete, v mapo zunaj mape /opt/intel/oneapi/:

1. V istem oknu terminala, kjer ste zagnali setvars.sh, identificirajte okolja Conda v vašem sistemu:
   • seznam conda env
     Videli boste podobne rezultate:
2. Uporabite funkcijo kloniranja za kloniranje okolja v novo mapo. V bivšemample spodaj se novo okolje imenuje usr_intelpython, okolje, ki ga klonirate, pa se imenuje base (kot je prikazano na zgornji sliki).
   • conda create –name usr_intelpython –clone base
     Prikazale se bodo podrobnosti o klonu:

1. Aktivirajte novo okolje, da omogočite možnost dodajanja paketov. conda aktivira usr_intelpython
2. Preverite, ali je novo okolje aktivno. seznam conda env
   Zdaj lahko razvijate z uporabo okolja Conda za Intel Distribution za Python.
3. Če želite aktivirati okolje TensorFlow* ali PyTorch*:

TensorFlow

• conda aktivira tensorflow

PyTorch

• conda aktivira pytorch

Naslednji koraki

• Če ne razvijate za GPU, zgradite in zaženite Sample Project.
• Za razvoj na GPU nadaljujte na Uporabniki GPE.

Uporabniki GPE
Za tiste, ki razvijate na GPE, sledite tem korakom:

Namestite gonilnike GPU
Če ste sledili navodilom v Navodilih za namestitev za namestitev gonilnikov GPU, lahko ta korak preskočite. Če niste namestili gonilnikov, sledite navodilom v Navodilih za namestitev.

Dodaj uporabnika v video skupino
Pri računalniških delovnih obremenitvah GPE nekorenski (običajni) uporabniki običajno nimajo dostopa do naprave GPE. Prepričajte se, da ste v video skupino dodali svoje običajne uporabnike; v nasprotnem primeru binarne datoteke, prevedene za napravo GPE, ne bodo uspele, ko jih bo izvedel običajni uporabnik. Če želite odpraviti to težavo, dodajte nekorenskega uporabnika v video skupino:

• sudo usermod -a -G video

Onemogoči Hangcheck
Za aplikacije z dolgotrajnimi računalniškimi delovnimi obremenitvami GPE v izvornih okoljih onemogočite hangcheck. To ni priporočljivo za virtualizacije ali druge standardne uporabe GPE, kot je igranje iger.

Delovna obremenitev, ki traja več kot štiri sekunde za izvedbo strojne opreme GPE, je dolgotrajna delovna obremenitev. Po privzetku se posamezne niti, ki se kvalificirajo kot dolgotrajne delovne obremenitve, obravnavajo kot obešene in so prekinjene. Tej težavi se lahko izognete, če onemogočite časovno omejitev hangcheck.

OPOMBA: Če je jedro posodobljeno, je hangcheck samodejno omogočen. Zaženite spodnji postopek po vsaki posodobitvi jedra, da zagotovite, da je hangcheck onemogočen.

1. Odprite terminal.
2. Odprite grubo file v /etc/default.
3. V jedi file, poiščite vrstico GRUB_CMDLINE_LINUX_DEFAULT=”” .
4. Vnesite to besedilo med narekovaje (»«):
5. Zaženite ta ukaz:
   sudo update-grub
6. Ponovno zaženite sistem. Hangcheck ostaja onemogočen.

Naslednji korak
Zdaj, ko ste konfigurirali svoj sistem, nadaljujte z Build and Run a Sample Project.

Zgradite in zaženite Sample Uporaba ukazne vrstice

Intel® AI Analytics Toolkit
V tem razdelku boste zagnali preprost projekt »Hello World«, da se seznanite s postopkom gradnje projektov, nato pa zgradite svoj projekt.

OPOMBA: Če še niste konfigurirali svojega razvojnega okolja, pojdite na Konfigurirajte svoj sistem in se nato vrnite na to stran. Če ste že izvedli korake za konfiguracijo sistema, nadaljujte s spodnjimi koraki.

Ko delate iz ukazne vrstice, lahko uporabite terminalsko okno ali Visual Studio Code*. Za podrobnosti o lokalni uporabi kode VS glejte Osnovna uporaba kode Visual Studio z oneAPI v sistemu Linux*. Če želite uporabljati kodo VS na daljavo, glejte Oddaljeni razvoj kode Visual Studio z oneAPI v sistemu Linux*.

Zgradite in zaženite Sample Project
Sampspodnje datoteke morajo biti klonirane v vaš sistem, preden lahko zgradite sample projekt:

Če si želite ogledati seznam komponent, ki podpirajo CMake, glejte Uporaba CMake za z aplikacijami oneAPI.

Zgradite svoj projekt
Za začetek uporabe s tem kompletom orodij niso potrebne nobene posebne spremembe vaših obstoječih projektov Python. Pri novih projektih postopek natančno sledi postopku, ki se uporablja za ustvarjanje sample projekti Hello World. Glejte Hello World README files za navodila.

Povečanje učinkovitosti
Lahko dobite dokumentacijo, ki vam bo pomagala povečati zmogljivost za TensorFlow ali PyTorch.

Konfigurirajte svoje okolje

OPOMBA: Če vaše virtualno okolje ni na voljo ali če želite v svoje virtualno okolje dodati pakete, se prepričajte, da ste izvedli korake v razdelku Uporaba funkcije kloniranja Conda za dodajanje paketov kot nekorenski uporabnik.

Če razvijate zunaj vsebnika, pridobite naslednji skript za uporabo distribucije Intel® za Python*:

• • /setvars.sh
• kje kjer ste namestili ta komplet orodij. Privzeto je namestitveni imenik:
• Korenske ali sudo namestitve: /opt/intel/oneapi
• Lokalne uporabniške namestitve: ~/intel/oneapi

OPOMBA: Skript setvars.sh je mogoče upravljati s konfiguracijo file, kar je še posebej koristno, če morate inicializirati določene različice knjižnic ali prevajalnika, namesto da privzeto nastavite »najnovejšo« različico. Za več podrobnosti glejte Uporaba konfiguracije File za upravljanje Setvars.sh. Če morate okolje nastaviti v lupini, ki ni POSIX, glejte Nastavitev razvojnega okolja oneAPI za več možnosti konfiguracije.

Če želite zamenjati okolje, morate najprej deaktivirati aktivno okolje.
Naslednji exampprikazuje konfiguracijo okolja, aktiviranje TensorFlow* in nato vrnitev v distribucijo Intel za Python:

Prenesite vsebnik

Intel® AI Analytics Toolkit
Vsebniki vam omogočajo nastavitev in konfiguracijo okolij za izdelavo, izvajanje in profiliranje aplikacij oneAPI ter njihovo distribucijo s pomočjo slik:

• Namestite lahko sliko, ki vsebuje okolje, ki je vnaprej konfigurirano z vsemi orodji, ki jih potrebujete, in nato razvijete v tem okolju.
• Okolje lahko shranite in s sliko premaknete to okolje na drug računalnik brez dodatnih nastavitev.
• Po potrebi lahko pripravite vsebnike z različnimi nabori jezikov in časov izvajanja, orodji za analizo ali drugimi orodji.

Prenesite sliko Docker*
Sliko Docker* lahko prenesete iz repozitorija vsebnikov.

OPOMBA: Dockerjeva slika je približno 5 GB in lahko traja približno 15 minut, da se prenese. Potreboval bo 25 GB prostora na disku.

1. Določite sliko:
   image=intel/oneapi-aikit docker pull “$image”
2. Potegnite sliko.
   docker pull “$image”

Ko je vaša slika prenesena, nadaljujte z Uporaba vsebnikov z ukazno vrstico.

Uporaba vsebnikov z ukazno vrstico
Intel® AI Analytics Toolkit Neposredno prenesite vnaprej zgrajene vsebnike. Spodnji ukaz za CPE vas bo pustil v ukazni vrstici znotraj vsebnika v interaktivnem načinu.

procesor
image=intel/oneapi-aikit docker run -it “$image”

Uporaba Intel® Advisor, Intel® Inspector ali VTune™ s kontejnerji
Pri uporabi teh orodij je treba vsebniku zagotoviti dodatne zmogljivosti: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE

• docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it “$image”

Uporaba Cloud CI Systems

Sistemi CI v oblaku vam omogočajo samodejno izdelavo in preizkušanje programske opreme. Oglejte si repo v githubu za nprampdatoteke konfiguracije fileki uporabljajo oneAPI za priljubljene sisteme CI v oblaku.

Odpravljanje težav za Intel® AI Analytics Toolkit

Obvestila in zavrnitve odgovornosti

Intelove tehnologije lahko zahtevajo aktiviranje omogočene strojne, programske opreme ali storitve. Noben izdelek ali komponenta ne more biti popolnoma varna.
Stroški in rezultati se lahko razlikujejo.

© Intel Corporation. Intel, logotip Intel in druge znamke Intel so blagovne znamke družbe Intel Corporation ali njenih podružnic. Druga imena in blagovne znamke se lahko zahtevajo kot last drugih.

Informacije o izdelku in zmogljivosti

Zmogljivost se razlikuje glede na uporabo, konfiguracijo in druge dejavnike. Več o tem na www.Intel.com/PerformanceIndex.
Revizija obvestila #20201201

Ta dokument ne podeljuje nobene licence (izrecne ali implicitne, na podlagi estoppela ali kako drugače) za kakršne koli pravice intelektualne lastnine. Opisani izdelki lahko vsebujejo oblikovne pomanjkljivosti ali napake, znane kot errata, zaradi katerih lahko izdelek odstopa od objavljenih specifikacij. Trenutne karakterizirane napake so na voljo na zahtevo.

Intel zavrača vsa izrecna in implicitna jamstva, vključno brez omejitev z implicitnimi jamstvi glede primernosti za prodajo, primernosti za določen namen in nekršitve, kot tudi vsa jamstva, ki izhajajo iz poteka delovanja, poteka poslovanja ali uporabe v trgovini.

Dokumenti / Viri

intel AI Analytics Toolkit za Linux [pdf] Uporabniški priročnik AI Analytics Toolkit za Linux, AI Analytics Toolkit, Analytics Toolkit za Linux, Analytics Toolkit, Toolkit

Reference

• Uporabniški priročnik