intel AI Analytics Toolkit za Linux
Informacije o proizvodu
AI Kit je komplet alata koji uključuje višestruka conda okruženja za mašinsko učenje i projekte dubokog učenja. Uključuje okruženja za TensorFlow, PyTorch i Intel oneCCL veze. Omogućava korisnicima da konfigurišu svoj sistem postavljanjem varijabli okruženja, koristeći Conda za dodavanje paketa, instaliranjem grafičkih drajvera i onemogućavanjem provjere. Komplet alata se može koristiti u interfejsu komandne linije (CLI) i može se lako integrisati u postojeće projekte bez ikakvih posebnih modifikacija.
Upotreba proizvoda
- Konfigurirajte svoj sistem postavljanjem varijabli okruženja prije nego što nastavite.
- Da biste radili na interfejsu komandne linije (CLI), koristite skriptu setvars.sh da konfigurišete alate u paketima alata oneAPI preko varijabli okruženja. Možete izvor setvars.sh skriptu jednom po sesiji ili svaki put kada otvorite novi prozor terminala. Skripta setvars.sh se može naći u osnovnom folderu vaše oneAPI instalacije.
- Aktivirajte različita conda okruženja po potrebi putem naredbe „conda activate ”. AI komplet uključuje conda okruženja za TensorFlow (CPU), TensorFlow sa Intel ekstenzijom za Sample TensorFlow (GPU), PyTorch sa Intel ekstenzijom za PyTorch (XPU) i Intel oneCCL veze za PyTorch (CPU).
- Istražite svako okruženje povezano Početak rada Samplinkovi su povezani u tabeli u korisničkom priručniku za više informacija o tome kako koristiti svako okruženje.
Sledeća uputstva pretpostavljaju da ste instalirali softver Intel® oneAPI. Molimo pogledajte stranicu Intel AI Analytics Toolkit za opcije instalacije. Slijedite ove korake da napravite i pokrenete kaoample sa Intel® AI Analytics Toolkitom (AI Kit):
- Konfigurišite svoj sistem.
- Napravite i pokrenite Sample.
NAPOMENA: Standardne Python instalacije su u potpunosti kompatibilne sa AI Kitom, ali se preferira Intel® Distribution for Python*.
Nisu potrebne nikakve posebne modifikacije vaših postojećih projekata da biste ih počeli koristiti s ovim kompletom alata.
Komponente ovog kompleta alata
AI komplet uključuje
- Intel® optimizacija za PyTorch*: Intel® oneAPI Deep Neural Network Library (oneDNN) uključena je u PyTorch kao podrazumevana biblioteka matematičkog kernela za duboko učenje.
- Intel® Extension za PyTorch: Intel® Extension za PyTorch* proširuje PyTorch* mogućnosti sa ažuriranim funkcijama i optimizacijama za dodatno povećanje performansi na Intel hardveru.
- Intel® optimizacija za TensorFlow*: Ova verzija integriše primitive iz oneDNN-a u TensorFlow runtime za ubrzane performanse.
- Intel® Extension za TensorFlow: Intel® Extension za TensorFlow* je heterogen dodatak za proširenje dubokog učenja visokih performansi zasnovan na interfejsu TensorFlow PluggableDevice. Ovaj dodatak za proširenje dovodi Intel XPU (GPU, CPU, itd.) uređaje u TensorFlow zajednicu otvorenog koda za ubrzanje AI radnog opterećenja.
- Intel® distribucija za Python*: Ostvarite brže performanse Python aplikacije odmah iz kutije, uz minimalne ili nikakve promjene u vašem kodu. Ova distribucija je integrisana sa Intel® bibliotekama performansi kao što su Intel® oneAPI Math Kernel Library i Intel®oneAPI Data Analytics Library.
- Intel® Distribution of Modin* (dostupno samo preko Anaconde), koji vam omogućava da neprimetno skalirate pretprocesiranje na više čvorova koristeći ovu inteligentnu, distribuiranu biblioteku okvira podataka sa identičnim API-jem kao i pandas. Ova distribucija je dostupna samo ako instalirate Intel® AI Analytics Toolkit sa Conda* Package Managerom.
- Intel® Neural Compressor : brzo implementirajte rješenja za zaključivanje niske preciznosti na popularnim okvirima za duboko učenje kao što su TensorFlow*, PyTorch*, MXNet* i ONNX* (Open Neural Network Exchange) runtime.
- Intel® proširenje za Scikit-learn*: Besprekorni način da ubrzate svoju Scikit-learn aplikaciju pomoću Intel® oneAPI biblioteke za analizu podataka (oneDAL).
Zakrpa scikit-learn čini ga dobro prilagođenim okvirom za strojno učenje za rješavanje problema iz stvarnog života. - XGBoost optimizovan od strane Intela: Ovaj dobro poznati paket za mašinsko učenje za stabla odlučivanja podstaknutih gradijentom uključuje neprimetno ubrzanje za Intel® arhitekturu kako bi se značajno ubrzala obuka modela i poboljšala tačnost za bolja predviđanja.
Konfigurišite svoj sistem – Intel® AI Analytics Toolkit
Ako još niste instalirali AI Analytics Toolkit, pogledajte Instaliranje Intel® AI Analytics Toolkit-a. Da biste konfigurirali svoj sistem, postavite varijable okruženja prije nego što nastavite.
Postavite varijable okruženja za razvoj CLI-a
Za rad na interfejsu komandne linije (CLI), alati u paketima alata oneAPI se konfigurišu preko
varijable okruženja. Da biste postavili varijable okruženja korištenjem skripte setvars:
Opcija 1: Izvor setvars.sh jednom po sesiji
Izvor setvars.sh svaki put kada otvorite novi prozor terminala:
Setvars.sh skriptu možete pronaći u osnovnom folderu vaše oneAPI instalacije, što je obično /opt/intel/oneapi/ za sistemske instalacije i ~/intel/oneapi/ za privatne instalacije.
Za instalacije širom sistema (zahteva root ili sudo privilegije):
- . /opt/intel/oneapi/setvars.sh
Za privatne instalacije:
- . ~/intel/oneapi/setvars.sh
Opcija 2: Jednokratno podešavanje za setvars.sh
Da bi se okruženje automatski postavilo za vaše projekte, uključite izvor naredbi
/setvars.sh u skripti za pokretanje gdje će biti automatski pozvan (zamijeni
sa putanjom do vaše oneAPI lokacije za instalaciju). Zadane lokacije za instalaciju su /opt/
intel/oneapi/ za sistemske instalacije (zahteva root ili sudo privilegije) i ~/intel/oneapi/ za privatne instalacije.
Za nprample, možete dodati izvor /setvars.sh komanda vašem ~/.bashrc ili ~/.bashrc_profile ili ~/.profile file. Da biste učinili postavke trajnim za sve račune na vašem sistemu, kreirajte .sh skriptu u jednom redu u /etc/pro vašeg sistemafile.d folder iz kojeg se nalazi setvars.sh (za više detalja pogledajte Ubuntu dokumentaciju o varijablama okruženja).
NAPOMENA
Setvars.sh skriptom se može upravljati pomoću konfiguracije file, što je posebno korisno ako trebate inicijalizirati određene verzije biblioteka ili kompajlera, umjesto da zadate "najnoviju" verziju. Za više detalja pogledajte Korištenje konfiguracije File da biste upravljali Setvars.sh.. Ako trebate podesiti okruženje u ljusci koja nije POSIX, pogledajte Postavljanje razvojnog okruženja za oneAPI za više opcija konfiguracije.
Sledeći koraci
- Ako ne koristite Conda ili razvijate za GPU, napravite i pokrenite Sample Project.
- Za korisnike Conde, nastavite na sljedeći odjeljak.
- Za razvoj na GPU-u, nastavite na GPU korisnike
Conda okruženja u ovom kompletu alata
Postoji više konda okruženja uključenih u AI Kit. Svako okruženje je opisano u donjoj tabeli. Nakon što postavite varijable okruženja na CLI okruženje kao što je prethodno navedeno, možete aktivirati različita conda okruženja prema potrebi pomoću sljedeće naredbe:
- conda activate
Za više informacija, istražite svako okruženje u vezi Početak rada Samplinkovano u tabeli ispod.
Koristite Conda Clone funkciju za dodavanje paketa kao korisnika koji nije root
Komplet alata Intel AI Analytics instaliran je u folderu oneapi, koji zahtijeva root privilegije za upravljanje. Možda ćete htjeti dodati i održavati nove pakete koristeći Conda*, ali to ne možete učiniti bez root pristupa. Ili, možda imate root pristup, ali ne želite da unosite root lozinku svaki put kada aktivirate Conda.
Da upravljate svojim okruženjem bez korištenja root pristupa, koristite funkciju Conda kloniranja da klonirate pakete koji su vam potrebni u folder izvan /opt/intel/oneapi/ foldera:
- Iz istog prozora terminala gdje ste pokrenuli setvars.sh, identificirajte Conda okruženja na vašem sistemu:
- conda env list
Vidjet ćete rezultate slične ovim:
- conda env list
- Koristite funkciju kloniranja da klonirate okruženje u novu fasciklu. U exampU nastavku, novo okruženje se zove usr_intelpython, a okruženje koje se klonira nosi naziv base (kao što je prikazano na gornjoj slici).
- conda kreirati –ime usr_intelpython – klonirati bazu
Pojavit će se detalji klona:
- conda kreirati –ime usr_intelpython – klonirati bazu
- Aktivirajte novo okruženje da omogućite mogućnost dodavanja paketa. conda aktivira usr_intelpython
- Provjerite je li novo okruženje aktivno. conda env list
Sada možete razvijati koristeći Conda okruženje za Intel Distribution za Python. - Da aktivirate TensorFlow* ili PyTorch* okruženje:
TensorFlow
- conda aktivira tensorflow
PyTorch
- conda activate pytorch
Sledeći koraci
- Ako ne razvijate za GPU, napravite i pokrenite Sample Project.
- Za razvoj na GPU-u, nastavite na GPU korisnike.
Korisnici GPU-a
Za one koji razvijaju na GPU-u, slijedite ove korake:
Instalirajte upravljačke programe za GPU
Ako ste slijedili upute u Vodiču za instalaciju da biste instalirali upravljačke programe za GPU, možete preskočiti ovaj korak. Ako niste instalirali upravljačke programe, slijedite upute u Vodiču za instalaciju.
Dodajte korisnika video grupi
Za GPU računarska radna opterećenja, korisnici koji nisu root (normalni) obično nemaju pristup GPU uređaju. Obavezno dodajte svoje normalne korisnike u video grupu; u suprotnom, binarne datoteke kompajlirane za GPU uređaj neće uspjeti kada ih izvrši običan korisnik. Da biste riješili ovaj problem, dodajte ne-root korisnika u video grupu:
- sudo usermod -a -G video
Onemogućite Hangcheck
Za aplikacije sa dugotrajnim GPU računarskim opterećenjima u izvornim okruženjima, onemogućite provjeru hangcheck. Ovo se ne preporučuje za virtuelizacije ili druge standardne upotrebe GPU-a, kao što je igranje igara.
Radno opterećenje za koje je potrebno više od četiri sekunde da se GPU hardver izvrši je dugotrajno radno opterećenje. Po defaultu, pojedinačne niti koje se kvalificiraju kao dugotrajna radna opterećenja smatraju se obješenim i prekinute. Onemogućavanjem perioda vremenskog ograničenja hangcheck-a možete izbjeći ovaj problem.
NAPOMENA: Ako je kernel ažuriran, provjera hangcheka je automatski omogućena. Pokrenite proceduru u nastavku nakon svakog ažuriranja kernela kako biste bili sigurni da je provjera objeka onemogućena.
- Otvorite terminal.
- Otvorite jelo file u /etc/default.
- U grubi file, pronađite liniju GRUB_CMDLINE_LINUX_DEFAULT=”” .
- Unesite ovaj tekst između navodnika (“”):
- Pokrenite ovu naredbu:
sudo update-grub - Ponovo pokrenite sistem. Hangcheck ostaje onemogućen.
Sledeći korak
Sada kada ste konfigurisali svoj sistem, pređite na Build and Run a Sample Project.
Napravite i pokrenite Sample Korišćenje komandne linije
Intel® AI Analytics Toolkit
U ovom odeljku ćete pokrenuti jednostavan „Hello World“ projekat da biste se upoznali sa procesom izgradnje projekata, a zatim izgradili sopstveni projekat.
NAPOMENA: Ako već niste konfigurirali svoje razvojno okruženje, idite na Konfiguriraj svoj sistem, a zatim se vratite na ovu stranicu. Ako ste već dovršili korake za konfiguraciju vašeg sistema, nastavite s koracima u nastavku.
Možete koristiti ili prozor terminala ili Visual Studio Code* kada radite iz komandne linije. Za detalje o tome kako lokalno koristiti VS Code, pogledajte Osnovnu upotrebu koda Visual Studio s oneAPI na Linuxu*. Da biste daljinski koristili VS Code, pogledajte Udaljeni razvoj koda Visual Studio s oneAPI na Linuxu*.
Napravite i pokrenite Sample Project
The sampdatoteke ispod moraju biti klonirane na vaš sistem prije nego što možete izgraditi sample projekat:
Da biste vidjeli listu komponenti koje podržavaju CMake, pogledajte Upotrijebite CMake za s oneAPI aplikacijama.
Izgradite svoj vlastiti projekat
Nisu potrebne nikakve posebne modifikacije vaših postojećih Python projekata da biste ih počeli koristiti s ovim kompletom alata. Za nove projekte, proces usko prati proces koji se koristi za kreiranje sample Hello World projekte. Pogledajte Hello World README files za upute.
Maksimiziranje performansi
Možete dobiti dokumentaciju koja će vam pomoći da maksimizirate performanse za TensorFlow ili PyTorch.
Konfigurirajte svoje okruženje
NAPOMENA: Ako vaše virtuelno okruženje nije dostupno ili ako želite da dodate pakete u svoje virtuelno okruženje, uverite se da ste dovršili korake u delu Korišćenje funkcije kloniranja Conda za dodavanje paketa kao korisnik koji nije root.
Ako razvijate izvan kontejnera, nabavite sljedeću skriptu za korištenje Intel® Distribution za Python*:
-
- /setvars.sh
- gdje je mjesto gdje ste instalirali ovaj komplet alata. Podrazumevano je instalacijski direktorij:
- Root ili sudo instalacije: /opt/intel/oneapi
- Instalacije lokalnih korisnika: ~/intel/oneapi
NAPOMENA: Setvars.sh skriptom se može upravljati pomoću konfiguracije file, što je posebno korisno ako trebate inicijalizirati određene verzije biblioteka ili kompajlera, umjesto da zadate "najnoviju" verziju. Za više detalja pogledajte Korištenje konfiguracije File za upravljanje Setvars.sh. Ako trebate postaviti okruženje u ne-POSIX ljusci, pogledajte OneAPI Postavljanje razvojnog okruženja za više opcija konfiguracije.
Da biste promijenili okruženje, prvo morate deaktivirati aktivno okruženje.
Sljedeći prample pokazuje konfigurisanje okruženja, aktiviranje TensorFlow*, a zatim povratak na Intel Distribution za Python:
Preuzmite kontejner
Intel® AI Analytics Toolkit
Kontejneri vam omogućavaju da postavite i konfigurirate okruženja za izgradnju, pokretanje i profiliranje oneAPI aplikacija i distribuirate ih pomoću slika:
- Možete instalirati sliku koja sadrži okruženje unaprijed konfigurirano sa svim alatima koji su vam potrebni, a zatim razvijati unutar tog okruženja.
- Možete sačuvati okruženje i koristiti sliku za premještanje tog okruženja na drugu mašinu bez dodatnog podešavanja.
- Po potrebi možete pripremiti kontejnere s različitim skupovima jezika i vremena izvođenja, alatima za analizu ili drugim alatima.
Preuzmite Docker* sliku
Možete preuzeti Docker* sliku iz skladišta kontejnera.
NAPOMENA: Docker slika je ~5 GB i može potrajati ~15 minuta za preuzimanje. To će zahtijevati 25 GB prostora na disku.
- Definirajte sliku:
image=intel/oneapi-aikit docker pull “$image” - Povucite sliku.
docker pull “$image”
Kada se vaša slika preuzme, nastavite na Korištenje kontejnera s komandnom linijom.
Korištenje kontejnera s komandnom linijom
Intel® AI Analytics Toolkit Preuzmite gotove kontejnere direktno. Naredba ispod za CPU će vas ostaviti na komandnoj liniji, unutar kontejnera, u interaktivnom načinu.
CPU
image=intel/oneapi-aikit docker run -it “$image”
Koristeći Intel® Advisor, Intel® Inspector ili VTune™ sa kontejnerima
Kada koristite ove alate, kontejneru se moraju osigurati dodatne mogućnosti: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE
- docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it “$image”
Korištenje Cloud CI sistema
Cloud CI sistemi vam omogućavaju da automatski napravite i testirate svoj softver. Pogledajte repo na github-u za nprampleze konfiguracije filekoji koriste oneAPI za popularne cloud CI sisteme.
Rješavanje problema za Intel® AI Analytics Toolkit
Obavještenja i odricanja od odgovornosti
Intel tehnologije mogu zahtijevati omogućenu aktivaciju hardvera, softvera ili usluge. Nijedan proizvod ili komponenta ne mogu biti apsolutno sigurni.
Vaši troškovi i rezultati mogu varirati.
© Intel Corporation. Intel, Intel logo i druge Intel oznake su zaštitni znaci Intel Corporation ili njenih podružnica. Druga imena i robne marke mogu se smatrati vlasništvom drugih.
Informacije o proizvodu i performansama
Performanse variraju ovisno o upotrebi, konfiguraciji i drugim faktorima. Saznajte više na www.Intel.com/PerformanceIndex.
Obavještenje o reviziji #20201201
Ovim dokumentom ne daje se nikakva licenca (izričita ili implicirana, estoppelom ili na neki drugi način) za bilo koja prava intelektualne svojine. Opisani proizvodi mogu sadržavati nedostatke u dizajnu ili greške poznate kao greške koje mogu uzrokovati da proizvod odstupi od objavljenih specifikacija. Trenutne karakterizirane greške dostupne su na zahtjev.
Intel se odriče svih izričitih i implicitnih garancija, uključujući, bez ograničenja, implicitne garancije za prodaju, prikladnost za određenu svrhu i nekršenje, kao i svaku garanciju koja proizilazi iz toka performansi, načina poslovanja ili upotrebe u trgovini.
Dokumenti / Resursi
 |
intel AI Analytics Toolkit za Linux [pdf] Korisnički priručnik AI Analytics Toolkit za Linux, AI Analytics Toolkit, Analytics Toolkit za Linux, Analytics Toolkit, Toolkit |
