Intel AI Analytics Toolkit per a Linux

Informació del producte

L'AI Kit és un conjunt d'eines que inclou diversos entorns conda per a projectes d'aprenentatge automàtic i aprenentatge profund. Inclou entorns per a TensorFlow, PyTorch i Intel oneCCL Bindings. Permet als usuaris configurar el seu sistema establint variables d'entorn, utilitzant Conda per afegir paquets, instal·lant controladors de gràfics i desactivant la verificació de bloqueig. El conjunt d'eines es pot utilitzar en una interfície de línia d'ordres (CLI) i es pot integrar fàcilment en projectes existents sense cap modificació especial.

Ús del producte

1. Configureu el vostre sistema establint variables d'entorn abans de continuar.
2. Per treballar en una interfície de línia d'ordres (CLI), utilitzeu l'script setvars.sh per configurar les eines dels conjunts d'eines oneAPI mitjançant variables d'entorn. Podeu obtenir l'script setvars.sh una vegada per sessió o cada cop que obriu una finestra de terminal nova. L'script setvars.sh es pot trobar a la carpeta arrel de la instal·lació d'oneAPI.
3. Activeu diferents entorns conda segons sigui necessari mitjançant l'ordre "conda activate ”. El kit AI inclou entorns conda per a TensorFlow (CPU), TensorFlow amb l'extensió Intel per a Sample TensorFlow (GPU), PyTorch amb Intel Extension for PyTorch (XPU) i Intel oneCCL Bindings for PyTorch (CPU).
4. Exploreu cada entorn relacionat amb el principi d'inici Sampenllaçat a la taula proporcionada al manual d'usuari per obtenir més informació sobre com utilitzar cada entorn.

Les instruccions següents suposen que heu instal·lat el programari Intel® oneAPI. Consulteu la pàgina Intel AI Analytics Toolkit per obtenir les opcions d'instal·lació. Seguiu aquests passos per crear i executar comampamb l'Intel® AI Analytics Toolkit (AI Kit):

1. Configura el teu sistema.
2. Construeix i executa un Sample.

NOTA: Les instal·lacions estàndard de Python són totalment compatibles amb el kit AI, però es prefereix la distribució Intel® per a Python*.
No calen modificacions especials als vostres projectes existents per començar a utilitzar-los amb aquest conjunt d'eines.

Components d'aquest conjunt d'eines

El kit d'IA inclou

• Optimització Intel® per a PyTorch*: La biblioteca de xarxes neuronals profundes Intel® oneAPI (oneDNN) s'inclou a PyTorch com a biblioteca predeterminada del nucli matemàtic per a l'aprenentatge profund.
• Intel® Extension for PyTorch: Intel® Extension for PyTorch* amplia les capacitats de PyTorch* amb funcions i optimitzacions actualitzades per augmentar el rendiment del maquinari Intel.
• Intel® Optimization for TensorFlow*: Aquesta versió integra primitives de oneDNN al temps d'execució de TensorFlow per a un rendiment accelerat.
• Intel® Extension for TensorFlow: Intel® Extension for TensorFlow* és un connector d'extensió d'aprenentatge profund heterogeni i d'alt rendiment basat en la interfície de TensorFlow PluggableDevice. Aquest connector d'extensió incorpora dispositius Intel XPU (GPU, CPU, etc.) a la comunitat de codi obert TensorFlow per accelerar la càrrega de treball d'IA.
• Distribució Intel® per a Python*: Aconseguiu un rendiment més ràpid de les aplicacions Python des de la caixa, amb canvis mínims o cap al vostre codi. Aquesta distribució està integrada amb les biblioteques de rendiment d'Intel®, com ara la biblioteca Intel® oneAPI Math Kernel i la biblioteca Intel®oneAPI Data Analytics.
• Intel® Distribution of Modin* (només disponible a través d'Anaconda), que us permet escalar perfectament el preprocessament entre diversos nodes mitjançant aquesta biblioteca de marcs de dades intel·ligents i distribuïdes amb una API idèntica a la dels pandas. Aquesta distribució només està disponible instal·lant l'Intel® AI Analytics Toolkit amb el gestor de paquets Conda*.
• Intel® Neural Compressor: implementeu ràpidament solucions d'inferència de baixa precisió en marcs d'aprenentatge profund populars com TensorFlow*, PyTorch*, MXNet* i ONNX* (Open Neural Network Exchange).
• Intel® Extension for Scikit-learn*: una manera perfecta d'accelerar la vostra aplicació Scikit-learn mitjançant la biblioteca d'anàlisi de dades Intel® oneAPI (oneDAL).
  L'aplicació de pedaços a scikit-learn el converteix en un marc d'aprenentatge automàtic adequat per fer front a problemes de la vida real.
• XGBoost optimitzat per Intel: aquest conegut paquet d'aprenentatge automàtic per a arbres de decisió augmentats pel gradient inclou una acceleració continuada per a les arquitectures Intel® per accelerar significativament l'entrenament dels models i millorar la precisió per a millors prediccions.

Configura el teu sistema: Intel® AI Analytics Toolkit

Si encara no heu instal·lat l'AI Analytics Toolkit, consulteu Instal·lació de l'Intel® AI Analytics Toolkit. Per configurar el vostre sistema, configureu les variables d'entorn abans de continuar.

 

Estableix les variables d'entorn per al desenvolupament de la CLI
Per treballar en una interfície de línia d'ordres (CLI), les eines del conjunt d'eines oneAPI es configuren mitjançant
Variables del mediambient. Per establir variables d'entorn mitjançant l'origen de l'script setvars:

Opció 1: font setvars.sh una vegada per sessió
Origen setvars.sh cada vegada que obriu una finestra de terminal nova:

Podeu trobar l'script setvars.sh a la carpeta arrel de la vostra instal·lació oneAPI, que normalment és /opt/intel/oneapi/ per a instal·lacions a tot el sistema i ~/intel/oneapi/ per a instal·lacions privades.

Per a instal·lacions a tot el sistema (requereix privilegis root o sudo):

• . /opt/intel/oneapi/setvars.sh

Per a instal·lacions privades:

• . ~/intel/oneapi/setvars.sh

Opció 2: Configuració única per a setvars.sh
Per tenir l'entorn configurat automàticament per als vostres projectes, incloeu la font d'ordres
/setvars.sh en un script d'inici on s'invocarà automàticament (substituïu
amb el camí a la ubicació d'instal·lació de oneAPI). Les ubicacions d'instal·lació per defecte són /opt/
intel/oneapi/ per a instal·lacions a tot el sistema (requereix privilegis root o sudo) i ~/intel/oneapi/ per a instal·lacions privades.
Per example, podeu afegir la font L'ordre /setvars.sh al vostre ~/.bashrc o ~/.bashrc_profile o ~/.profile file. Per fer que la configuració sigui permanent per a tots els comptes del vostre sistema, creeu un script .sh d'una línia al fitxer /etc/pro del vostre sistema.fileCarpeta .d d'origen setvars.sh (per a més detalls, vegeu la documentació d'Ubuntu sobre les variables d'entorn).

NOTA
L'script setvars.sh es pot gestionar mitjançant una configuració file, que és especialment útil si necessiteu inicialitzar versions específiques de biblioteques o del compilador, en comptes de predeterminar la versió "darrera". Per obtenir més detalls, vegeu Ús d'una configuració File per gestionar Setvars.sh.. Si necessiteu configurar l'entorn en un intèrpret d'ordres que no sigui POSIX, consulteu Configuració de l'entorn de desenvolupament d'API per obtenir més opcions de configuració.

Següents passos

• Si no utilitzeu Conda ni desenvolupeu per a GPU, creeu i executeu un Sampel Projecte.
• Per als usuaris de Conda, continueu amb la secció següent.
• Per desenvolupar en una GPU, continueu amb Usuaris de GPU

Conda Environments en aquest conjunt d'eines
Hi ha diversos entorns conda inclosos al kit AI. Cada entorn es descriu a la taula següent. Un cop hàgiu establert les variables d'entorn a l'entorn CLI tal com s'ha indicat anteriorment, podeu activar diferents entorns conda segons sigui necessari mitjançant l'ordre següent:

• conda activar

Per obtenir-ne més informació, si us plau, exploreu els passos d'inici relacionats amb cada entorn Sampenllaçat a la taula següent.

Utilitzeu la funció de clonació de Conda per afegir paquets com a usuari no root
El conjunt d'eines d'Intel AI Analytics s'instal·la a la carpeta oneapi, que requereix privilegis d'arrel per gestionar. És possible que vulgueu afegir i mantenir paquets nous amb Conda*, però no ho podeu fer sense l'accés root. O és possible que tingueu accés root però no voleu introduir la contrasenya d'arrel cada vegada que activeu Conda.

Per gestionar el vostre entorn sense utilitzar l'accés root, utilitzeu la funcionalitat de clonació de Conda per clonar els paquets que necessiteu en una carpeta fora de la carpeta /opt/intel/oneapi/:

1. Des de la mateixa finestra de terminal on vau executar setvars.sh, identifiqueu els entorns Conda del vostre sistema:
   • conda env list
     Veureu resultats semblants a aquest:
2. Utilitzeu la funció de clonació per clonar l'entorn en una carpeta nova. En l'exampa continuació, el nou entorn s'anomena usr_intelpython i l'entorn que es clona s'anomena base (com es mostra a la imatge de dalt).
   • conda create –name usr_intelpython –clone base
     Apareixeran els detalls del clon:

1. Activeu el nou entorn per habilitar la possibilitat d'afegir paquets. conda activate usr_intelpython
2. Comproveu que el nou entorn estigui actiu. conda env list
   Ara podeu desenvolupar amb l'entorn Conda per a Intel Distribution per a Python.
3. Per activar l'entorn TensorFlow* o PyTorch*:

TensorFlow

• conda activate tensorflow

PyTorch

• conda activar pytorch

Següents passos

• Si no esteu desenvolupant per a GPU, creeu i executeu un Sampel Projecte.
• Per desenvolupar en una GPU, continueu amb Usuaris de GPU.

Usuaris de GPU
Per a aquells que estan desenvolupant en una GPU, seguiu aquests passos:

Instal·leu els controladors de la GPU
Si heu seguit les instruccions de la Guia d'instal·lació per instal·lar els controladors de GPU, podeu ometre aquest pas. Si no heu instal·lat els controladors, seguiu les instruccions de la Guia d'instal·lació.

Afegeix usuari al grup de vídeos
Per a les càrregues de treball de càlcul de la GPU, els usuaris no root (normals) normalment no tenen accés al dispositiu GPU. Assegureu-vos d'afegir els vostres usuaris habituals al grup de vídeos; en cas contrari, els binaris compilats per al dispositiu GPU fallaran quan els executi un usuari normal. Per solucionar aquest problema, afegiu l'usuari no root al grup de vídeos:

• sudo usermod -a -G vídeo

Desactiva Hangcheck
Per a aplicacions amb càrregues de treball de càlcul de GPU de llarga durada en entorns natius, desactiveu la comprovació de bloqueig. Això no es recomana per a virtualitzacions o altres usos estàndard de la GPU, com ara els jocs.

Una càrrega de treball que triga més de quatre segons a executar-se el maquinari de la GPU és una càrrega de treball llarga. De manera predeterminada, els fils individuals que es consideren càrregues de treball de llarga durada es consideren penjats i s'acaben. Si desactiveu el període de temps d'espera de la comprovació de bloqueig, podeu evitar aquest problema.

NOTA: Si el nucli s'actualitza, la comprovació de bloqueig s'habilitarà automàticament. Executeu el procediment següent després de cada actualització del nucli per assegurar-vos que la comprovació de bloqueig està desactivada.

1. Obre un terminal.
2. Obre el grub file a /etc/default.
3. En el grub file, cerqueu la línia GRUB_CMDLINE_LINUX_DEFAULT="" .
4. Introduïu aquest text entre cometes (“”):
5. Executeu aquesta comanda:
   sudo update-grub
6. Reinicieu el sistema. Hangcheck continua desactivat.

Següent pas
Ara que heu configurat el vostre sistema, aneu a Construir i executar un Sampel Projecte.

Construeix i executa un Sample Utilitzant la línia d'ordres

Kit d'eines d'anàlisi Intel® AI
En aquesta secció, executareu un projecte senzill "Hello World" per familiaritzar-vos amb el procés de construcció de projectes i, a continuació, creareu el vostre propi projecte.

NOTA: Si encara no heu configurat el vostre entorn de desenvolupament, aneu a Configura el vostre sistema i torneu a aquesta pàgina. Si ja heu completat els passos per configurar el vostre sistema, continueu amb els passos següents.

Podeu utilitzar una finestra de terminal o Visual Studio Code* quan treballeu des de la línia d'ordres. Per obtenir més informació sobre com utilitzar VS Code localment, vegeu Ús bàsic de Visual Studio Code amb oneAPI a Linux*. Per utilitzar VS Code de forma remota, vegeu Desenvolupament de codi Visual Studio remot amb oneAPI a Linux*.

Construeix i executa un Sampel Projecte
El sampEls fitxers següents s'han de clonar al vostre sistema abans de poder crear el sampel projecte:

Per veure una llista de components que admeten CMake, vegeu Utilitzar CMake amb les aplicacions oneAPI.

Construeix el teu propi projecte
No calen modificacions especials als vostres projectes Python existents per començar a utilitzar-los amb aquest conjunt d'eines. Per als nous projectes, el procés segueix de prop el procés utilitzat per crear sampels projectes Hello World. Consulteu el README de Hello World files per instruccions.

Maximització del rendiment
Podeu obtenir documentació que us ajudi a maximitzar el rendiment de TensorFlow o PyTorch.

Configura el teu entorn

NOTA: Si el vostre entorn virtual no està disponible o si voleu afegir paquets al vostre entorn virtual, assegureu-vos d'haver completat els passos a Utilitzar la funció de clonació de Conda per afegir paquets com a usuari no root.

Si esteu desenvolupant fora d'un contenidor, obteniu l'script següent per utilitzar la distribució Intel® per a Python*:

• • /setvars.sh
• on és on heu instal·lat aquest conjunt d'eines. Per defecte, el directori d'instal·lació és:
• Instal·lacions root o sudo: /opt/intel/oneapi
• Instal·lacions d'usuari local: ~/intel/oneapi

NOTA: L'script setvars.sh es pot gestionar mitjançant una configuració file, que és especialment útil si necessiteu inicialitzar versions específiques de biblioteques o del compilador, en comptes de predeterminar la versió "darrera". Per obtenir més detalls, vegeu Ús d'una configuració File per gestionar Setvars.sh. Si necessiteu configurar l'entorn en un intèrpret d'ordres que no sigui POSIX, consulteu Configuració de l'entorn de desenvolupament de oneAPI per obtenir més opcions de configuració.

Per canviar d'entorn, primer heu de desactivar l'entorn actiu.
El següent example demostra la configuració de l'entorn, l'activació de TensorFlow* i, a continuació, tornar a la distribució Intel per a Python:

Descarrega un contenidor

Kit d'eines d'anàlisi Intel® AI
Els contenidors us permeten configurar i configurar entorns per crear, executar i crear perfils d'aplicacions oneAPI i distribuir-los mitjançant imatges:

• Podeu instal·lar una imatge que contingui un entorn preconfigurat amb totes les eines que necessiteu i després desenvolupar-lo dins d'aquest entorn.
• Podeu desar un entorn i utilitzar la imatge per moure aquest entorn a una altra màquina sense instal·lacions addicionals.
• Podeu preparar contenidors amb diferents conjunts d'idiomes i temps d'execució, eines d'anàlisi o altres eines, segons sigui necessari.

Descarrega la imatge de Docker*
Podeu descarregar una imatge de Docker* des del dipòsit de contenidors.

NOTA: La imatge de Docker és d'aproximadament 5 GB i pot trigar uns 15 minuts a baixar-se. Necessitarà 25 GB d'espai en disc.

1. Definiu la imatge:
   image=intel/oneapi-aikit docker pull "$image"
2. Estireu la imatge.
   Docker pull "$image"

Un cop descarregada la imatge, aneu a Ús de contenidors amb la línia d'ordres.

Ús de contenidors amb la línia d'ordres
Intel® AI Analytics Toolkit Baixeu contenidors preconstruïts directament. L'ordre següent per a la CPU us deixarà en un indicador d'ordres, dins del contenidor, en mode interactiu.

CPU
image=intel/oneapi-aikit docker run -it "$image"

Utilitzant Intel® Advisor, Intel® Inspector o VTune™ amb contenidors
Quan s'utilitzen aquestes eines, s'han de proporcionar capacitats addicionals al contenidor: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE

• Docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it “$image”

Ús de Cloud CI Systems

Els sistemes Cloud CI us permeten crear i provar el vostre programari automàticament. Vegeu el repo a github per exempleampfitxers de configuració files que utilitzen oneAPI per als sistemes de CI al núvol populars.

Resolució de problemes per a l'Intel® AI Analytics Toolkit

Avisos i exempcions de responsabilitat

Les tecnologies Intel poden requerir l'activació de maquinari, programari o servei habilitat. Cap producte o component pot ser absolutament segur.
Els vostres costos i resultats poden variar.

© Intel Corporation. Intel, el logotip d'Intel i altres marques d'Intel són marques comercials d'Intel Corporation o de les seves filials. Altres noms i marques es poden reclamar com a propietat d'altres.

Informació de producte i rendiment

El rendiment varia segons l'ús, la configuració i altres factors. Més informació a www.Intel.com/PerformanceIndex.
Revisió de l'avís #20201201

Aquest document no concedeix cap llicència (expressa o implícita, per preclusió o d'una altra manera) sobre cap dret de propietat intel·lectual. Els productes descrits poden contenir defectes de disseny o errors coneguts com a errates que poden provocar que el producte es desviï de les especificacions publicades. Les errates caracteritzades actuals estan disponibles a petició.

Intel renuncia a totes les garanties explícites i implícites, incloses, sense limitació, les garanties implícites de comerciabilitat, adequació per a un propòsit particular i no infracció, així com qualsevol garantia derivada del curs de rendiment, el curs de la negociació o l'ús en el comerç.

Documents/Recursos

Intel AI Analytics Toolkit per a Linux [pdfGuia de l'usuari AI Analytics Toolkit per a Linux, AI Analytics Toolkit, Analytics Toolkit per a Linux, Analytics Toolkit, Toolkit

Referències

• Manual d'usuari