Intel AI Analytics Toolkit por Linukso

Produktaj Informoj

La AI-ilaro estas ilaro, kiu inkluzivas plurajn kondajn mediojn por maŝinlernado kaj profundlernadaj projektoj. Ĝi inkluzivas mediojn por TensorFlow, PyTorch kaj Intel oneCCL Bindings. Ĝi permesas al uzantoj agordi sian sistemon fiksante mediajn variablojn, uzante Conda por aldoni pakaĵojn, instalante grafikajn ŝoforojn kaj malŝaltante hangcheck. La ilaro povas esti uzata ĉe Komandlinia Interfaco (CLI) kaj povas esti facile integrita en ekzistantajn projektojn sen specialaj modifoj.

Produkta Uzado

1. Agordu vian sistemon agordante mediajn variablojn antaŭ ol daŭrigi.
2. Por labori ĉe Komandlinia Interfaco (CLI), uzu la setvars.sh-skripton por agordi la ilojn en la ilaro oneAPI per mediaj variabloj. Vi povas fonti la setvars.sh-skripton unufoje por sesio aŭ ĉiufoje kiam vi malfermas novan terminalan fenestron. La skripto setvars.sh troviĝas en la radika dosierujo de via instalaĵo oneAPI.
3. Aktivigu malsamajn conda mediojn laŭbezone per la komando "conda aktivigi ”. La AI-ilaro inkluzivas kondajn mediojn por TensorFlow (CPU), TensorFlow kun Intel Extension por Sample TensorFlow (GPU), PyTorch kun Intel Extension por PyTorch (XPU), kaj Intel oneCCL Bindings por PyTorch (CPU).
4. Esploru la rilatajn Komencu S de ĉiu medioample ligita en la tabelo provizita en la uzantmanlibro por pliaj informoj pri kiel uzi ĉiun medion.

La sekvaj instrukcioj supozas, ke vi instalis la programaron Intel® oneAPI. Bonvolu vidi la paĝon de Intel AI Analytics Toolkit por instalaj opcioj. Sekvu ĉi tiujn paŝojn por konstrui kaj funkcii kielample kun la Intel® AI Analytics Toolkit (AI Kit):

1. Agordu vian sistemon.
2. Konstruu kaj Kuru Sample.

NOTO: Normaj Python-instalaĵoj estas plene kongruaj kun la AI Kit, sed la Intel® Distribuo por Python* estas preferita.
Ne necesas specialaj modifoj al viaj ekzistantaj projektoj por komenci uzi ilin kun ĉi tiu ilaro.

Komponentoj de Ĉi tiu Ilaro

La AI Ilaro inkluzivas

• Intel® Optimumigo por PyTorch*: La Intel® oneAPI Deep Neural Network Library (oneDNN) estas inkluzivita en PyTorch kiel la defaŭlta matematika kerno biblioteko por profunda lernado.
• Intel® Extension for PyTorch: Intel® Extension for PyTorch* etendas la kapablojn de PyTorch* kun ĝisdataj funkcioj kaj optimumigoj por ekstra rendimento-akcelo sur Intel-aparataro.
• Intel® Optimumigo por TensorFlow*: Ĉi tiu versio integras primitivulojn de oneDNN en la rultempon de TensorFlow por akcelita agado.
• Intel® Extension for TensorFlow: Intel® Extension for TensorFlow* estas heterogena, alt-efikeca profunda lernada etendaĵo-aldonaĵo bazita sur TensorFlow PluggableDevice-interfaco. Ĉi tiu etenda kromaĵo alportas aparatojn Intel XPU (GPU, CPU, ktp) en la malfermfontan komunumon de TensorFlow por akcelo de laborŝarĝo de AI.
• Intel® Distribution por Python*: Akiru pli rapide Python-aplikaĵon tuj el la skatolo, kun minimumaj aŭ neniuj ŝanĝoj al via kodo. Ĉi tiu distribuo estas integrita kun Intel® Performance Libraries kiel la Intel® oneAPI Math Kernel Library kaj la Intel®oneAPI Data Analytics Library.
• Intel® Distribution of Modin* (disponebla nur per Anaconda), kiu ebligas al vi perfekte skali antaŭtraktadon tra multnodoj uzante ĉi tiun inteligentan, distribuitan datumkadron-bibliotekon kun identa API al pandoj. Ĉi tiu distribuo disponeblas nur per Instalado de la Intel® AI Analytics Toolkit kun la Paka Administranto Conda*.
• Intel® Neural Compressor: rapide disfaldi solvojn de malalta preciza inferenco sur popularaj profundlernantaj kadroj kiel ekzemple TensorFlow*, PyTorch*, MXNet*, kaj ONNX* (Open Neural Network Exchange) rultempo.
• Intel® Extension for Scikit-learn*: Senjunta maniero akceli vian Scikit-learn-aplikaĵon uzante la Intel® oneAPI Data Analytics Library (oneDAL).
  Flikado de scikit-learn faras ĝin bone taŭga maŝinlernada kadro por trakti realajn problemojn.
• XGBoost Optimigita de Intel: Ĉi tiu konata maŝinlernada pako por gradient-plifortigitaj decidaj arboj inkluzivas senjuntan, enfluan akcelon por Intel®-arkitekturoj por signife akceli modeltrejnadon kaj plibonigi precizecon por pli bonaj antaŭdiroj.

Agordu Vian Sistemon - Intel® AI Analytics Toolkit

Se vi ne jam instalis la AI Analytics Toolkit, raportu al Instalado de la Intel® AI Analytics Toolkit. Por agordi vian sistemon, agordu mediajn variablojn antaŭ ol daŭrigi.

 

Agordu Mediajn Variablojn por CLI-Evoluo
Por labori ĉe Komandlinia Interfaco (CLI), la iloj en la ilaro oneAPI estas agorditaj per
mediaj variabloj. Por agordi mediajn variablojn per la fonto de la setvars-skripto:

Opcio 1: Fonto setvars.sh unufoje por sesio
Fonto setvars.sh ĉiufoje kiam vi malfermas novan terminalan fenestron:

Vi povas trovi la setvars.sh-skripton en la radika dosierujo de via oneAPI-instalado, kiu estas tipe /opt/intel/oneapi/ por sistemaj instalaĵoj kaj ~/intel/oneapi/ por privataj instalaĵoj.

Por tutsistemaj instalaĵoj (postulas radikajn aŭ sudo-privilegiojn):

• . /opt/intel/oneapi/setvars.sh

Por privataj instalaĵoj:

• . ~/intel/oneapi/setvars.sh

Opcio 2: Unufoja aranĝo por setvars.sh
Por havi la medion aŭtomate agordita por viaj projektoj, inkluzivu la komandfonton
/setvars.sh en lanĉa skripto kie ĝi estos aŭtomate alvokita (anstataŭigi
kun la vojo al via instalilo de oneAPI). La defaŭltaj installokoj estas /opt/
intel/oneapi/ por sistemaj tutaj instalaĵoj (postulas radikajn aŭ sudo-privilegiojn) kaj ~/intel/oneapi/ por privataj instalaĵoj.
Por ekzample, vi povas aldoni la fonton /setvars.sh komando al via ~/.bashrc aŭ ~/.bashrc_profile aŭ ~/.profile file. Por fari la agordojn konstantaj por ĉiuj kontoj en via sistemo, kreu unulinian .sh-skripton en la /etc/pro de via sistemo.file.d dosierujo, kiu fontas setvars.sh (por pliaj detaloj, vidu Ubuntu-dokumentadon pri Mediaj Variaĵoj).

NOTO
La setvars.sh-skripto povas esti administrita per agordo file, kiu estas precipe helpema se vi bezonas pravalorigi specifajn versiojn de bibliotekoj aŭ la kompililon, anstataŭ defaŭlti al la "lasta" versio. Por pliaj detaloj, vidu Uzado de Agordo File por Administri Setvars.sh.. Se vi bezonas agordi la medion en ne-POSIX-ŝelo, vidu OneAPI Development Environment Setup por pliaj agordaj opcioj.

Sekvaj Paŝoj

• Se vi ne uzas Conda, aŭ disvolvas por GPU, Konstruu kaj Kuru Sample Projekto.
• Por uzantoj de Conda, daŭrigu al la sekva sekcio.
• Por disvolvi sur GPU, daŭrigu al GPU-uzantoj

Conda Environments en ĉi tiu Ilaro
Estas multnombraj conda medioj inkluzivitaj en la AI-ilaro. Ĉiu medio estas priskribita en la suba tabelo. Post kiam vi starigis mediajn variablojn al CLI-medio kiel antaŭe instrukciite, vi povas tiam aktivigi malsamajn conda mediojn laŭbezone per la sekva komando:

• konda aktivigi

Por pliaj informoj, bonvolu esplori la rilatan Komencu S de ĉiu medioample ligita en la suba tabelo.

Uzu la Conda Klonan Funkcion por Aldoni Pakojn kiel Ne-Radikan Uzanton
La ilaro de Intel AI Analytics estas instalita en la dosierujo oneapi, kiu postulas radikajn privilegiojn por administri. Vi eble volas aldoni kaj konservi novajn pakaĵojn uzante Conda*, sed vi ne povas fari tion sen radika aliro. Aŭ, vi eble havas radikan aliron sed ne volas enigi la radikan pasvorton ĉiufoje kiam vi aktivigas Conda.

Por administri vian medion sen uzi radikan aliron, uzu la funkcion de klono de Conda por kloni la pakaĵojn, kiujn vi bezonas al dosierujo ekster la dosierujo /opt/intel/oneapi/:

1. De la sama fina fenestro, kie vi kuris setvars.sh, identigu la mediojn Conda en via sistemo:
   • konda env listo
     Vi vidos rezultojn similajn al ĉi tio:
2. Uzu la kloni funkcion por kloni la medion al nova dosierujo. En la eksample sube, la nova medio estas nomita usr_intelpython kaj la medio klonita estas nomita bazo (kiel montrite en la bildo supre).
   • conda create –name usr_intelpython –klona bazo
     La klonaj detaloj aperos:

1. Aktivigu la novan medion por ebligi la kapablon aldoni pakaĵojn. conda aktivigi usr_intelpython
2. Kontrolu, ke la nova medio estas aktiva. konda env listo
   Vi nun povas disvolvi per la medio Conda por Intel Distribution por Python.
3. Por aktivigi la medion TensorFlow* aŭ PyTorch*:

TensorFlow

• conda aktivigi tensorfluon

PyTorch

• conda aktivigi pytorch

Sekvaj Paŝoj

• Se vi ne disvolvas por GPU, Konstruu kaj Kuru Sample Projekto.
• Por disvolvi sur GPU, daŭrigu al GPU-uzantoj.

Uzantoj de GPU
Por tiuj, kiuj disvolvas sur GPU, sekvu ĉi tiujn paŝojn:

Instalu GPU-ŝoforojn
Se vi sekvis la instrukciojn en la Instala Gvidilo por instali GPU-Ŝoforojn, vi povas preterlasi ĉi tiun paŝon. Se vi ne instalis la ŝoforojn, sekvu la instrukciojn en la Instala Gvidilo.

Aldonu Uzanton al Videogrupo
Por GPU-komputila laborkvanto, ne-radikaj (normalaj) uzantoj kutime ne havas aliron al la GPU-aparato. Certiĝu aldoni vian(j)n normalan(j)n uzanto(j) al la videogrupo; alie, binaroj kompilitaj por la GPU-aparato malsukcesos kiam ekzekuto de normala uzanto. Por solvi ĉi tiun problemon, aldonu la ne-radikan uzanton al la videogrupo:

• sudo usermod -a -G video

Malebligu Hangcheck
Por aplikoj kun longdaŭraj GPU-komputikaj laborkvantoj en indiĝenaj medioj, malŝaltu hangcheck. Ĉi tio ne estas rekomendita por virtualigoj aŭ aliaj normaj uzadoj de GPU, kiel videoludado.

Laborkvanto, kiu daŭras pli ol kvar sekundojn por plenumi GPU-aparaton, estas longdaŭra laborkvanto. Defaŭlte, individuaj fadenoj kiuj kvalifikas kiel longdaŭraj laborŝarĝoj estas konsiderataj penditaj kaj finitaj. Malŝaltante la hangcheck timeout periodo, vi povas eviti ĉi tiun problemon.

NOTO: Se la kerno estas ĝisdatigita, hangcheck estas aŭtomate ebligita. Rulu la proceduron sube post ĉiu kerno ĝisdatigo por certigi hangcheck estas malŝaltita.

1. Malfermu terminalon.
2. Malfermu la grub file en /etc/default.
3. En la larvo file, trovu la linion GRUB_CMDLINE_LINUX_DEFAULT="" .
4. Enigu ĉi tiun tekston inter la citiloj (""):
5. Rulu ĉi tiun komandon:
   sudo update-grub
6. Rekomencu la sistemon. Hangcheck restas malŝaltita.

Sekva Paŝo
Nun, ke vi agordis vian sistemon, iru al Konstruu kaj Kuru Sample Projekto.

Konstruu kaj Kuru Sample Uzante la Komandlinion

Ilaro de Intel® AI Analytics
En ĉi tiu sekcio, vi rulos simplan projekton "Saluton Mondo" por konatiĝi kun la procezo de konstruado de projektoj, kaj poste konstruos vian propran projekton.

NOTO: Se vi ne jam agordis vian evoluan medion, iru al Agordi vian sistemon kaj revenu al ĉi tiu paĝo. Se vi jam plenumis la paŝojn por agordi vian sistemon, daŭrigu la paŝojn sube.

Vi povas uzi aŭ terminalan fenestron aŭ Visual Studio Code* kiam vi laboras de la komandlinio. Por detaloj pri kiel uzi VS-Kodon loke, vidu Bazan Uzadon de Vida Studio-Kodo kun oneAPI en Linukso*. Por uzi VS-Kodon malproksime, vidu Malproksima Vida Studio-Kodo-Evoluo kun oneAPI en Linukso*.

Konstruu kaj Kuru Sample Projekto
La samples sube devas esti klonitaj al via sistemo antaŭ ol vi povas konstrui la sampla projekto:

Por vidi liston de komponantoj kiuj subtenas CMake, vidu Uzu CMake al kun oneAPI-Aplikoj.

Konstruu Vian Propran Projekton
Ne necesas specialaj modifoj al viaj ekzistantaj Python-projektoj por komenci uzi ilin kun ĉi tiu ilaro. Por novaj projektoj, la procezo atente sekvas la procezon uzatan por krei sample Hello World projektoj. Vidu al la Saluton Mondo README files por instrukcioj.

Maksimumigi Efikecon
Vi povas akiri dokumentaron por helpi vin maksimumigi rendimenton por aŭ TensorFlow aŭ PyTorch.

Agordu Vian Medion

NOTO: Se via virtuala medio ne haveblas, aŭ se vi volas aldoni pakaĵojn al via virtuala medio, certigu, ke vi plenumis la paŝojn en Uzu la Konda Klonan Funkcion por Aldoni Pakojn kiel Ne-Radikan Uzanton.

Se vi disvolvas ekster ujo, fontu la sekvan skripton por uzi la Intel® Distribuadon por Python*:

• • /setvars.sh
• kie estas kie vi instalis ĉi tiun ilaron. Defaŭlte la instala dosierujo estas:
• Radikaj aŭ sudo-instalaĵoj: /opt/intel/oneapi
• Lokaj uzantinstalaĵoj: ~/intel/oneapi

NOTO: La setvars.sh skripto povas esti administrita uzante agordon file, kiu estas precipe helpema se vi bezonas pravalorigi specifajn versiojn de bibliotekoj aŭ la kompililon, anstataŭ defaŭlti al la "lasta" versio. Por pliaj detaloj, vidu Uzado de Agordo File por Administri Setvars.sh. Se vi bezonas agordi la medion en ne-POSIX-ŝelo, vidu oneAPI Development Environment Setup por pliaj agordaj elektoj.

Por ŝanĝi mediojn, vi unue devas malaktivigi la aktivan medion.
La sekva ekzample pruvas agordi la medion, aktivigi TensorFlow*, kaj poste reveni al la Intel Distribution por Python:

Elŝutu Ujon

Ilaro de Intel® AI Analytics
Ujoj permesas vin agordi kaj agordi mediojn por konstrui, funkcii kaj profili oneAPI-aplikaĵojn kaj distribui ilin per bildoj:

• Vi povas instali bildon enhavantan medion antaŭ-agordita kun ĉiuj iloj, kiujn vi bezonas, tiam disvolvi ene de tiu medio.
• Vi povas konservi medion kaj uzi la bildon por movi tiun medion al alia maŝino sen plia agordo.
• Vi povas prepari ujojn kun malsamaj aroj da lingvoj kaj rultempoj, analizaj iloj aŭ aliaj iloj, laŭbezone.

Elŝutu Docker* Bildon
Vi povas elŝuti bildon de Docker* el la Deponejo de Ujoj.

NOTO: La Docker-bildo estas ~5 GB kaj povas daŭri ~15 minutojn por elŝuti. Ĝi postulos 25 GB da diskospaco.

1. Difinu la bildon:
   bildo=intel/oneapi-aikit docker pull "$bildo"
2. Tiru la bildon.
   docker tiras "$image"

Post kiam via bildo estas elŝutita, iru al Uzado de Ujoj kun la Komandlinio.

Uzante Ujojn kun la Komandlinio
Intel® AI Analytics Toolkit Elŝutu rekte antaŭkonstruitajn ujojn. La suba komando por CPU lasos vin ĉe komanda prompto, ene de la ujo, en interaga reĝimo.

CPU
image=intel/oneapi-aikit docker run -it "$bildo"

Uzante Intel® Advisor, Intel® Inspector aŭ VTune™ kun Ujoj
Kiam vi uzas ĉi tiujn ilojn, kromaj kapabloj devas esti provizitaj al la ujo: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE

• docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it “$bildo”

Uzante Cloud CI Systems

Cloud CI-sistemoj permesas vin konstrui kaj testi vian programaron aŭtomate. Vidu la repo en github por ekzamples de agordo files kiuj uzas oneAPI por la popularaj nubaj CI-sistemoj.

Solvado de problemoj por la Intel® AI Analytics Toolkit

Avizoj kaj Malgarantioj

Intel-teknologioj povas postuli ebligitan aparataron, programaron aŭ servo-aktivigon. Neniu produkto aŭ komponanto povas esti absolute sekura.
Viaj kostoj kaj rezultoj povas varii.

© Intel Corporation. Intel, la Intel-emblemo kaj aliaj Intel-markoj estas varmarkoj de Intel Corporation aŭ ĝiaj filioj. Aliaj nomoj kaj markoj povas esti postulitaj kiel posedaĵo de aliaj.

Informoj pri Produkto kaj Agado

Efikeco varias laŭ uzo, agordo kaj aliaj faktoroj. Lernu pli ĉe www.Intel.com/PerformanceIndex.
Rimarku revizion #20201201

Neniu licenco (esprima aŭ implicita, per malpermeso aŭ alie) al ajnaj intelektaj proprietrajtoj estas donita de ĉi tiu dokumento. La priskribitaj produktoj povas enhavi dezajnodifektojn aŭ erarojn konatajn kiel eraroj, kiuj povas igi la produkton devii de publikigitaj specifoj. Nunaj karakterizitaj eratoj estas haveblaj laŭ peto.

Intel rifuzas ĉiujn eksplicitajn kaj implicitajn garantiojn, inkluzive sen limigo, la implicajn garantiojn de komercebleco, taŭgeco por aparta celo kaj ne-malobservo, same kiel ajnan garantion devenanta de kurso de agado, kurso de komercado aŭ uzado en komerco.

Dokumentoj/Rimedoj

Intel AI Analytics Toolkit por Linukso [pdf] Uzantogvidilo AI Analytics Toolkit por Linukso, AI Analytics Toolkit, Analytics Toolkit por Linukso, Analytics Toolkit, Toolkit

Referencoj

• Uzanto Manlibro