Intel AI Analytics Toolkit per Linux
Informazioni sul prodotto
Il kit AI è un toolkit che include più ambienti conda per progetti di machine learning e deep learning. Include ambienti per TensorFlow, PyTorch e Intel oneCCL Bindings. Consente agli utenti di configurare il proprio sistema impostando le variabili di ambiente, utilizzando Conda per aggiungere pacchetti, installando driver grafici e disabilitando l'hangcheck. Il toolkit può essere utilizzato su un'interfaccia a riga di comando (CLI) e può essere facilmente integrato in progetti esistenti senza modifiche speciali.
Utilizzo del prodotto
- Configura il tuo sistema impostando le variabili di ambiente prima di continuare.
- Per lavorare su un'interfaccia a riga di comando (CLI), utilizzare lo script setvars.sh per configurare gli strumenti nei toolkit oneAPI tramite le variabili di ambiente. Puoi generare lo script setvars.sh una volta per sessione o ogni volta che apri una nuova finestra di terminale. Lo script setvars.sh si trova nella cartella principale dell'installazione di oneAPI.
- Attiva diversi ambienti conda secondo necessità tramite il comando "condaactivate ”. Il kit AI include ambienti conda per TensorFlow (CPU), TensorFlow con estensione Intel per Sample TensorFlow (GPU), PyTorch con Intel Extension per PyTorch (XPU) e Intel oneCCL Bindings per PyTorch (CPU).
- Esplora le informazioni introduttive relative a ciascun ambiente Sample collegati nella tabella fornita nel manuale dell'utente per ulteriori informazioni su come utilizzare ciascun ambiente.
Le seguenti istruzioni presuppongono che tu abbia installato il software Intel® oneAPI. Consulta la pagina Intel AI Analytics Toolkit per le opzioni di installazione. Segui questi passaggi per creare ed eseguire comeample con Intel® AI Analytics Toolkit (Kit AI):
- Configura il tuo sistema.
- Costruisci ed esegui un Samplui.
NOTA: Le installazioni Python standard sono completamente compatibili con il kit AI, ma è preferibile la distribuzione Intel® per Python*.
Non sono necessarie modifiche speciali ai progetti esistenti per iniziare a utilizzarli con questo toolkit.
Componenti di questo Toolkit
Il kit AI include
- Ottimizzazione Intel® per PyTorch*: Intel® oneAPI Deep Neural Network Library (oneDNN) è inclusa in PyTorch come libreria kernel matematica predefinita per il deep learning.
- Estensione Intel® per PyTorch: l'estensione Intel® per PyTorch* estende le funzionalità di PyTorch* con funzionalità e ottimizzazioni aggiornate per un ulteriore aumento delle prestazioni sull'hardware Intel.
- Ottimizzazione Intel® per TensorFlow*: questa versione integra le primitive da oneDNN nel runtime TensorFlow per prestazioni accelerate.
- Estensione Intel® per TensorFlow: l'estensione Intel® per TensorFlow* è un plug-in di estensione di deep learning eterogeneo e ad alte prestazioni basato sull'interfaccia TensorFlow PluggableDevice. Questo plug-in di estensione porta i dispositivi Intel XPU (GPU, CPU, ecc.) nella community open source TensorFlow per l'accelerazione dei carichi di lavoro AI.
- Distribuzione Intel® per Python*: ottieni subito prestazioni delle applicazioni Python più rapide, con modifiche minime o nessuna modifica al codice. Questa distribuzione è integrata con le librerie Intel® Performance come Intel® oneAPI Math Kernel Library e Intel®oneAPI Data Analytics Library.
- Intel® Distribution of Modin* (disponibile solo tramite Anaconda), che consente di scalare senza problemi la pre-elaborazione su più nodi utilizzando questa libreria di frame di dati intelligente e distribuita con un'API identica ai panda. Questa distribuzione è disponibile solo installando Intel® AI Analytics Toolkit con Conda* Package Manager.
- Intel® Neural Compressor: implementa rapidamente soluzioni di inferenza a bassa precisione su framework di deep learning popolari come TensorFlow*, PyTorch*, MXNet* e runtime ONNX* (Open Neural Network Exchange).
- Estensione Intel® per Scikit-learn*: un modo semplice per velocizzare l'applicazione Scikit-learn utilizzando Intel® oneAPI Data Analytics Library (oneDAL).
L'applicazione di patch a scikit-learn lo rende un framework di apprendimento automatico adatto per affrontare i problemi della vita reale. - XGBoost ottimizzato da Intel: questo noto pacchetto di machine learning per alberi decisionali potenziati dal gradiente include un'accelerazione drop-in senza soluzione di continuità per le architetture Intel® per accelerare significativamente l'addestramento del modello e migliorare la precisione per previsioni migliori.
Configura il tuo sistema: Intel® AI Analytics Toolkit
Se non hai ancora installato AI Analytics Toolkit, fai riferimento a Installazione di Intel® AI Analytics Toolkit. Per configurare il tuo sistema, imposta le variabili di ambiente prima di continuare.
Impostare le variabili d'ambiente per lo sviluppo della CLI
Per lavorare su un'interfaccia a riga di comando (CLI), gli strumenti nei toolkit oneAPI sono configurati tramite
variabili ambientali. Per impostare le variabili di ambiente estraendo lo script setvars:
Opzione 1: origine setvars.sh una volta per sessione
Fonte setvars.sh ogni volta che apri una nuova finestra di terminale:
È possibile trovare lo script setvars.sh nella cartella principale dell'installazione di oneAPI, che in genere è /opt/intel/oneapi/ per le installazioni a livello di sistema e ~/intel/oneapi/ per le installazioni private.
Per installazioni a livello di sistema (richiede privilegi di root o sudo):
- . /opt/intel/oneapi/setvars.sh
Per installazioni private:
- . ~/intel/oneapi/setvars.sh
Opzione 2: configurazione una tantum per setvars.sh
Per impostare automaticamente l'ambiente per i tuoi progetti, includi il comando source
/setvars.sh in uno script di avvio in cui verrà richiamato automaticamente (replace
con il percorso della posizione di installazione di oneAPI). I percorsi di installazione predefiniti sono /opt/
intel/oneapi/ per installazioni a livello di sistema (richiede privilegi root o sudo) e ~/intel/oneapi/ per installazioni private.
Per esempioample, puoi aggiungere la fonte /setvars.sh al tuo ~/.bashrc o ~/.bashrc_profile o ~/.profile file. Per rendere permanenti le impostazioni per tutti gli account sul tuo sistema, crea uno script .sh di una riga nel file /etc/pro del tuo sistemafile.d cartella che genera setvars.sh (per maggiori dettagli, vedere la documentazione di Ubuntu sulle variabili d'ambiente).
NOTA
Lo script setvars.sh può essere gestito utilizzando una configurazione file, che è particolarmente utile se è necessario inizializzare versioni specifiche delle librerie o del compilatore, piuttosto che utilizzare per impostazione predefinita la versione "più recente". Per maggiori dettagli, vedere Utilizzo di una configurazione File per gestire Setvars.sh.. Se è necessario configurare l'ambiente in una shell non POSIX, vedere oneAPI Development Environment Setup per ulteriori opzioni di configurazione.
Prossimi passi
- Se non stai usando Conda o non stai sviluppando per GPU, Build and Run a Sampil progetto.
- Per gli utenti Conda, passare alla sezione successiva.
- Per lo sviluppo su una GPU, continua su Utenti GPU
Ambienti Conda in questo Toolkit
Ci sono più ambienti conda inclusi nel kit AI. Ogni ambiente è descritto nella tabella seguente. Dopo aver impostato le variabili di ambiente sull'ambiente CLI come indicato in precedenza, è quindi possibile attivare diversi ambienti conda secondo necessità tramite il seguente comando:
- conda attivare
Per ulteriori informazioni, consultare la Guida introduttiva S relativa a ciascun ambienteample collegato nella tabella sottostante.
Utilizzare la funzione Conda Clone per aggiungere pacchetti come utente non root
Il toolkit Intel AI Analytics è installato nella cartella oneapi, che richiede i privilegi di root per essere gestito. Potresti voler aggiungere e mantenere nuovi pacchetti usando Conda*, ma non puoi farlo senza l'accesso root. Oppure potresti avere accesso root ma non vuoi inserire la password root ogni volta che attivi Conda.
Per gestire il tuo ambiente senza utilizzare l'accesso root, utilizza la funzionalità di clonazione di Conda per clonare i pacchetti necessari in una cartella al di fuori della cartella /opt/intel/oneapi/:
- Dalla stessa finestra del terminale in cui hai eseguito setvars.sh, identifica gli ambienti Conda sul tuo sistema:
- elenco conda env
Vedrai risultati simili a questo:
- elenco conda env
- Utilizzare la funzione clone per clonare l'ambiente in una nuova cartella. Nell'esample sotto, il nuovo ambiente è chiamato usr_intelpython e l'ambiente clonato è chiamato base (come mostrato nell'immagine sopra).
- conda create –name usr_intelpython –clone base
Appariranno i dettagli del clone:
- conda create –name usr_intelpython –clone base
- Attiva il nuovo ambiente per abilitare la possibilità di aggiungere pacchetti. conda attiva usr_intelpython
- Verificare che il nuovo ambiente sia attivo. elenco conda env
Ora puoi sviluppare utilizzando l'ambiente Conda per Intel Distribution for Python. - Per attivare l'ambiente TensorFlow* o PyTorch*:
Flusso tensoriale
- conda attiva tensorflow
Torcia PyTorch
- conda attiva la torcia
Prossimi passi
- Se non stai sviluppando per GPU, Build and Run a Sampil progetto.
- Per lo sviluppo su una GPU, continua su Utenti GPU.
Utenti GPU
Per coloro che stanno sviluppando su una GPU, attenersi alla seguente procedura:
Installa i driver della GPU
Se hai seguito le istruzioni nella Guida all'installazione per installare i driver GPU, puoi saltare questo passaggio. Se non hai installato i driver, segui le istruzioni nella Guida all'installazione.
Aggiungi utente al gruppo video
Per i carichi di lavoro di elaborazione GPU, gli utenti non root (normali) in genere non hanno accesso al dispositivo GPU. Assicurati di aggiungere i tuoi utenti normali al gruppo video; in caso contrario, i binari compilati per il dispositivo GPU falliranno se eseguiti da un utente normale. Per risolvere questo problema, aggiungi l'utente non root al gruppo video:
- sudo usermod -a -G video
Disabilita Hangcheck
Per le applicazioni con carichi di lavoro di elaborazione GPU a esecuzione prolungata in ambienti nativi, disabilita il controllo del blocco. Questo non è raccomandato per le virtualizzazioni o altri usi standard della GPU, come i giochi.
Un carico di lavoro che richiede più di quattro secondi per l'esecuzione dell'hardware GPU è un carico di lavoro a esecuzione prolungata. Per impostazione predefinita, i singoli thread che si qualificano come carichi di lavoro a esecuzione prolungata vengono considerati bloccati e terminati. Disabilitando il periodo di timeout dell'hangcheck, puoi evitare questo problema.
NOTA: Se il kernel viene aggiornato, l'hangcheck viene abilitato automaticamente. Esegui la procedura seguente dopo ogni aggiornamento del kernel per assicurarti che l'hangcheck sia disabilitato.
- Aprire un terminale.
- Apri il grub file in /etc/default.
- Nel grumo file, trova la riga GRUB_CMDLINE_LINUX_DEFAULT=”” .
- Inserisci questo testo tra virgolette (""):
- Esegui questo comando:
sudo aggiornamento-grub - Riavvia il sistema. Hangcheck rimane disabilitato.
Passo successivo
Ora che hai configurato il tuo sistema, procedi con Build and Run a Sampil progetto.
Costruisci ed esegui un Sample Utilizzo della riga di comando
Toolkit di Intel® AI Analytics
In questa sezione, eseguirai un semplice progetto "Hello World" per familiarizzare con il processo di costruzione dei progetti e quindi costruirai il tuo progetto.
NOTA: Se non hai ancora configurato il tuo ambiente di sviluppo, vai a Configura il tuo sistema e poi torna a questa pagina. Se hai già completato i passaggi per configurare il tuo sistema, continua con i passaggi seguenti.
Puoi utilizzare una finestra di terminale o Visual Studio Code* quando lavori dalla riga di comando. Per informazioni dettagliate su come usare VS Code in locale, vedere Utilizzo di base di Visual Studio Code con oneAPI in Linux*. Per usare VS Code in remoto, vedere Sviluppo di codice di Visual Studio remoto con oneAPI su Linux*.
Costruisci ed esegui un Sampil progetto
Le sampi seguenti devono essere clonati sul proprio sistema prima di poter compilare i fileampil progetto:
Per visualizzare un elenco di componenti che supportano CMake, consulta Utilizzare CMake con le applicazioni oneAPI.
Costruisci il tuo progetto
Non sono necessarie modifiche speciali ai progetti Python esistenti per iniziare a utilizzarli con questo toolkit. Per i nuovi progetti, il processo segue da vicino il processo utilizzato per la creazione diampi progetti Hello World. Fare riferimento al README di Hello World files per le istruzioni.
Massimizzazione delle prestazioni
Puoi ottenere la documentazione per aiutarti a massimizzare le prestazioni per TensorFlow o PyTorch.
Configura il tuo ambiente
NOTA: Se il tuo ambiente virtuale non è disponibile o se desideri aggiungere pacchetti al tuo ambiente virtuale, assicurati di aver completato i passaggi in Utilizzare la funzione Conda Clone per aggiungere pacchetti come utente non root.
Se stai sviluppando al di fuori di un contenitore, procurati il seguente script per utilizzare la distribuzione Intel® per Python*:
-
- /setvars.sh
- Dove è dove hai installato questo toolkit. Per impostazione predefinita la directory di installazione è:
- Installazioni root o sudo: /opt/intel/oneapi
- Installazioni utente locale: ~/intel/oneapi
NOTA: Lo script setvars.sh può essere gestito utilizzando una configurazione file, che è particolarmente utile se è necessario inizializzare versioni specifiche delle librerie o del compilatore, piuttosto che utilizzare per impostazione predefinita la versione "più recente". Per maggiori dettagli, vedere Utilizzo di una configurazione File gestire Setvars.sh. Se è necessario configurare l'ambiente in una shell non POSIX, vedere OneAPI Development Environment Setup per ulteriori opzioni di configurazione.
Per cambiare ambiente, devi prima disattivare l'ambiente attivo.
Il seguente esempioample dimostra la configurazione dell'ambiente, l'attivazione di TensorFlow* e quindi il ritorno alla distribuzione Intel per Python:
Scarica un contenitore
Toolkit di Intel® AI Analytics
I contenitori consentono di impostare e configurare ambienti per la creazione, l'esecuzione e la creazione di profili di applicazioni oneAPI e di distribuirle utilizzando immagini:
- Puoi installare un'immagine contenente un ambiente preconfigurato con tutti gli strumenti necessari, quindi sviluppare all'interno di tale ambiente.
- È possibile salvare un ambiente e utilizzare l'immagine per spostare tale ambiente su un'altra macchina senza configurazione aggiuntiva.
- Puoi preparare contenitori con diversi set di linguaggi e runtime, strumenti di analisi o altri strumenti, se necessario.
Scarica l'immagine Docker*
Puoi scaricare un'immagine Docker* dal repository dei contenitori.
NOTA: L'immagine Docker è di circa 5 GB e il download può richiedere circa 15 minuti. Richiederà 25 GB di spazio su disco.
- Definisci l'immagine:
image=intel/oneapi-aikit docker pull "$immagine" - Tira l'immagine.
la finestra mobile estrae "$immagine"
Una volta scaricata l'immagine, procedi a Utilizzo dei contenitori con la riga di comando.
Utilizzo di contenitori con la riga di comando
Intel® AI Analytics Toolkit Scarica direttamente i container predefiniti. Il comando seguente per CPU ti lascerà al prompt dei comandi, all'interno del contenitore, in modalità interattiva.
processore
image=intel/oneapi-aikit docker esegui -it “$image”
Utilizzo di Intel® Advisor, Intel® Inspector o VTune™ con i contenitori
Quando si utilizzano questi strumenti, è necessario fornire funzionalità aggiuntive al contenitore: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE
- docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it “$immagine”
Utilizzo di sistemi Cloud CI
I sistemi Cloud CI ti consentono di creare e testare il tuo software automaticamente. Vedi il repository in github per esample di configurazione files che utilizzano oneAPI per i popolari sistemi CI cloud.
Risoluzione dei problemi per Intel® AI Analytics Toolkit
Avvisi e dichiarazioni di non responsabilità
Le tecnologie Intel potrebbero richiedere l'attivazione di hardware, software o servizi abilitati. Nessun prodotto o componente può essere assolutamente sicuro.
I tuoi costi e risultati possono variare.
© Intel Corporation. Intel, il logo Intel e altri marchi Intel sono marchi di Intel Corporation o delle sue consociate. Altri nomi e marchi possono essere rivendicati come proprietà di altri.
Informazioni sul prodotto e sulle prestazioni
Le prestazioni variano in base all'uso, alla configurazione e ad altri fattori. Ulteriori informazioni su www.Intel.com/PerformanceIndex.
Avviso revisione n. 20201201
Il presente documento non concede alcuna licenza (espressa o implicita, per preclusione o altro) sui diritti di proprietà intellettuale. I prodotti descritti possono contenere difetti di progettazione o errori noti come errata che possono far deviare il prodotto dalle specifiche pubblicate. Gli errata caratterizzati attuali sono disponibili su richiesta.
Intel declina tutte le garanzie esplicite e implicite, incluse, a titolo esemplificativo, le garanzie implicite di commerciabilità, idoneità per uno scopo particolare e non violazione, nonché qualsiasi garanzia derivante dal corso delle prestazioni, dal modo di trattare o dall'uso commerciale.
Documenti / Risorse
 |
Intel AI Analytics Toolkit per Linux [pdf] Guida utente AI Analytics Toolkit per Linux, AI Analytics Toolkit, Analytics Toolkit per Linux, Analytics Toolkit, Toolkit |
