intel AI Analytics Toolkit para sa Linux

Impormasyon ng Produkto

Ang AI Kit ay isang toolkit na kinabibilangan ng maraming conda environment para sa machine learning at deep learning projects. Kabilang dito ang mga kapaligiran para sa TensorFlow, PyTorch, at Intel oneCCL Bindings. Pinapayagan nito ang mga user na i-configure ang kanilang system sa pamamagitan ng pagtatakda ng mga variable ng kapaligiran, gamit ang Conda upang magdagdag ng mga pakete, pag-install ng mga driver ng graphics, at hindi pagpapagana ng hangcheck. Maaaring gamitin ang toolkit sa isang Command Line Interface (CLI) at madaling maisama sa mga kasalukuyang proyekto nang walang anumang espesyal na pagbabago.

Paggamit ng Produkto

1. I-configure ang iyong system sa pamamagitan ng pagtatakda ng mga variable ng kapaligiran bago magpatuloy.
2. Para magtrabaho sa isang Command Line Interface (CLI), gamitin ang setvars.sh script para i-configure ang mga tool sa oneAPI toolkits sa pamamagitan ng environment variable. Maaari mong pagmulan ang setvars.sh script nang isang beses bawat session o sa tuwing magbubukas ka ng bagong terminal window. Ang setvars.sh script ay matatagpuan sa root folder ng iyong oneAPI installation.
3. I-activate ang iba't ibang conda environment kung kinakailangan sa pamamagitan ng command na "conda activate ”. Kasama sa AI Kit ang mga conda environment para sa TensorFlow (CPU), TensorFlow na may Intel Extension para sa Sample TensorFlow (GPU), PyTorch na may Intel Extension para sa PyTorch (XPU), at Intel oneCCL Bindings para sa PyTorch (CPU).
4. Galugarin ang bawat kapaligiran na nauugnay sa Pagsisimula SampNaka-link sa talahanayan na ibinigay sa manwal ng gumagamit para sa higit pang impormasyon kung paano gamitin ang bawat kapaligiran.

Ipinapalagay ng mga sumusunod na tagubilin na na-install mo ang Intel® oneAPI software. Pakitingnan ang pahina ng Toolkit ng Intel AI Analytics para sa mga opsyon sa pag-install. Sundin ang mga hakbang na ito upang bumuo at tumakbo bilangampgamit ang Intel® AI Analytics Toolkit (AI Kit):

1. I-configure ang iyong system.
2. Bumuo at Magpatakbo ng isang Sample.

TANDAAN: Ang mga karaniwang pag-install ng Python ay ganap na katugma sa AI Kit, ngunit mas gusto ang Intel® Distribution para sa Python*.
Walang mga espesyal na pagbabago sa iyong mga kasalukuyang proyekto ang kinakailangan upang simulan ang paggamit ng mga ito gamit ang toolkit na ito.

Mga Bahagi ng Toolkit na Ito

Kasama sa AI Kit

• Intel® Optimization para sa PyTorch*: Ang Intel® oneAPI Deep Neural Network Library (oneDNN) ay kasama sa PyTorch bilang default na math kernel library para sa malalim na pag-aaral.
• Intel® Extension para sa PyTorch:Ang Intel® Extension para sa PyTorch* ay nagpapalawak ng mga kakayahan ng PyTorch* na may mga napapanahong feature at pag-optimize para sa karagdagang pagpapalakas ng performance sa Intel hardware.
• Intel® Optimization para sa TensorFlow*: Ang bersyon na ito ay nagsasama ng mga primitive mula sa oneDNN sa TensorFlow runtime para sa pinabilis na pagganap.
• Intel® Extension para sa TensorFlow: Ang Intel® Extension para sa TensorFlow* ay isang heterogenous, high performance na deep learning extension na plugin batay sa TensorFlow PluggableDevice na interface. Dinadala ng extension na plugin na ito ang mga Intel XPU (GPU, CPU, atbp) na device sa TensorFlow open source na komunidad para sa AI workload acceleration.
• Intel® Distribution for Python*: Makakuha ng mas mabilis na pagganap ng Python application sa labas ng kahon, na may kaunti o walang pagbabago sa iyong code. Ang pamamahagi na ito ay isinama sa Intel® Performance Libraries gaya ng Intel® oneAPI Math Kernel Library at ang Intel®oneAPI Data Analytics Library.
• Intel® Distribution of Modin* (available lang sa pamamagitan ng Anaconda), na nagbibigay-daan sa iyong maayos na sukatin ang preprocessing sa maraming node gamit ang intelligent, distributed dataframe library na ito na may kaparehong API sa mga pandas. Available lang ang pamamahagi na ito sa pamamagitan ng Pag-install ng Intel® AI Analytics Toolkit kasama ang Conda* Package Manager.
• Intel® Neural Compressor : mabilis na mag-deploy ng mga low-precision inference solution sa sikat na deep-learning frameworks gaya ng TensorFlow*, PyTorch*, MXNet*, at ONNX* (Open Neural Network Exchange) runtime.
• Intel® Extension para sa Scikit-learn*: Isang walang putol na paraan upang mapabilis ang iyong Scikit-learn application gamit ang Intel® oneAPI Data Analytics Library (oneDAL).
  Ang pag-patch ng scikit-learn ay ginagawa itong isang angkop na machine learning framework para sa pagharap sa mga problema sa totoong buhay.
• XGBoost Optimized by Intel: Ang kilalang machine-learning package na ito para sa gradient-boosted decision tree ay may kasamang seamless, drop-in acceleration para sa mga Intel® architecture upang makabuluhang mapabilis ang pagsasanay sa modelo at mapabuti ang katumpakan para sa mas mahuhusay na hula.

I-configure ang Iyong System – Intel® AI Analytics Toolkit

Kung hindi mo pa na-install ang AI Analytics Toolkit, sumangguni sa Pag-install ng Intel® AI Analytics Toolkit. Upang i-configure ang iyong system, magtakda ng mga variable ng kapaligiran bago magpatuloy.

 

Magtakda ng Mga Variable ng Kapaligiran para sa Pag-develop ng CLI
Para sa pagtatrabaho sa isang Command Line Interface (CLI), ang mga tool sa oneAPI toolkits ay na-configure sa pamamagitan ng
mga variable ng kapaligiran. Upang magtakda ng mga variable ng kapaligiran sa pamamagitan ng pagkuha ng setvars script:

Opsyon 1: Pinagmulan setvars.sh isang beses bawat session
Pinagmulan setvars.sh sa tuwing magbubukas ka ng bagong terminal window:

Makikita mo ang setvars.sh script sa root folder ng iyong oneAPI installation, na karaniwang /opt/intel/oneapi/ para sa system wide installation at ~/intel/oneapi/ para sa mga pribadong installation.

Para sa mga system wide installation (nangangailangan ng root o sudo na mga pribilehiyo):

• . /opt/intel/oneapi/setvars.sh

Para sa mga pribadong pag-install:

• . ~/intel/oneapi/setvars.sh

Opsyon 2: Isang beses na pag-setup para sa setvars.sh
Upang awtomatikong mai-set up ang kapaligiran para sa iyong mga proyekto, isama ang command source
/setvars.sh sa isang startup script kung saan ito ay awtomatikong i-invoke (palitan
kasama ang landas patungo sa iyong lokasyon ng pag-install ng oneAPI). Ang mga default na lokasyon ng pag-install ay /opt/
intel/oneapi/ para sa system wide installations (nangangailangan ng root o sudo privileges) at ~/intel/oneapi/ para sa mga pribadong installation.
Para kay example, maaari mong idagdag ang pinagmulan /setvars.sh command sa iyong ~/.bashrc o ~/.bashrc_profile o ~/.profile file. Upang gawing permanente ang mga setting para sa lahat ng account sa iyong system, lumikha ng isang linyang .sh na script sa /etc/pro ng iyong systemfile.d folder na pinagmumulan ng setvars.sh (para sa higit pang mga detalye, tingnan ang dokumentasyon ng Ubuntu sa Environment Variables).

TANDAAN
Maaaring pamahalaan ang setvars.sh script gamit ang isang configuration file, na partikular na nakakatulong kung kailangan mong simulan ang mga partikular na bersyon ng mga aklatan o ang compiler, sa halip na mag-default sa "pinakabagong" bersyon. Para sa higit pang mga detalye, tingnan ang Paggamit ng Configuration File para Pamahalaan ang Setvars.sh.. Kung kailangan mong i-setup ang environment sa isang non-POSIX shell, tingnan ang OneAPI Development Environment Setup para sa higit pang mga opsyon sa configuration.

Mga Susunod na Hakbang

• Kung hindi ka gumagamit ng Conda, o nagde-develop para sa GPU, Bumuo at Magpatakbo ng Sampang Proyekto.
• Para sa mga gumagamit ng Conda, magpatuloy sa susunod na seksyon.
• Para sa pagbuo sa isang GPU, magpatuloy sa Mga User ng GPU

Mga Conda Environment sa Toolkit na ito
Mayroong maraming conda environment na kasama sa AI Kit. Ang bawat kapaligiran ay inilarawan sa talahanayan sa ibaba. Kapag naitakda mo na ang mga variable ng kapaligiran sa CLI na kapaligiran gaya ng naunang itinuro, maaari mong i-activate ang iba't ibang conda environment kung kinakailangan sa pamamagitan ng sumusunod na command:

• conda activate

Para sa higit pang impormasyon, mangyaring galugarin ang bawat kapaligiran na nauugnay sa Pagsisimula Sampnaka-link sa talahanayan sa ibaba.

Gamitin ang Conda Clone Function para Magdagdag ng Mga Package bilang Non-Root User
Ang toolkit ng Intel AI Analytics ay naka-install sa oneapi folder, na nangangailangan ng mga pribilehiyo sa ugat upang pamahalaan. Maaaring naisin mong magdagdag at magpanatili ng mga bagong pakete gamit ang Conda*, ngunit hindi mo ito magagawa nang walang root access. O, maaaring mayroon kang root access ngunit ayaw mong ipasok ang root password sa tuwing i-activate mo ang Conda.

Upang pamahalaan ang iyong kapaligiran nang hindi gumagamit ng root access, gamitin ang Conda clone functionality para i-clone ang mga package na kailangan mo sa isang folder sa labas ng /opt/intel/oneapi/ folder:

1. Mula sa parehong terminal window kung saan ka nagpatakbo ng setvars.sh, tukuyin ang mga Conda environment sa iyong system:
   • conda env list
     Makakakita ka ng mga resultang katulad nito:
2. Gamitin ang clone function upang i-clone ang kapaligiran sa isang bagong folder. Sa exampSa ibaba, ang bagong kapaligiran ay pinangalanang usr_intelpython at ang kapaligiran na kino-clone ay pinangalanang base (tulad ng ipinapakita sa larawan sa itaas).
   • conda create –name usr_intelpython –clone base
     Lalabas ang mga detalye ng clone:

1. I-activate ang bagong environment para paganahin ang kakayahang magdagdag ng mga package. conda activate usr_intelpython
2. I-verify na aktibo ang bagong environment. conda env list
   Maaari ka na ngayong bumuo gamit ang Conda environment para sa Intel Distribution para sa Python.
3. Upang i-activate ang TensorFlow* o PyTorch* environment:

TensorFlow

• conda i-activate ang tensorflow

PyTorch

• conda i-activate ang pytorch

Mga Susunod na Hakbang

• Kung hindi ka nagde-develop para sa GPU, Bumuo at Magpatakbo ng Sampang Proyekto.
• Para sa pagbuo sa isang GPU, magpatuloy sa Mga User ng GPU.

Mga Gumagamit ng GPU
Para sa mga nagde-develop sa isang GPU, sundin ang mga hakbang na ito:

I-install ang mga driver ng GPU
Kung sinunod mo ang mga tagubilin sa Gabay sa Pag-install upang mag-install ng Mga Driver ng GPU, maaari mong laktawan ang hakbang na ito. Kung hindi mo pa na-install ang mga driver, sundin ang mga direksyon sa Gabay sa Pag-install.

Magdagdag ng User sa Video Group
Para sa mga GPU compute workload, ang mga user na hindi root (normal) ay karaniwang walang access sa GPU device. Tiyaking idagdag ang iyong (mga) normal na user sa pangkat ng video; kung hindi, ang mga binary na pinagsama-sama para sa GPU device ay mabibigo kapag naisakatuparan ng isang normal na user. Upang ayusin ang problemang ito, idagdag ang hindi-root na user sa pangkat ng video:

• sudo usermod -a -G video

Huwag paganahin ang Hangcheck
Para sa mga application na may matagal nang pag-compute ng mga workload ng GPU sa mga native na kapaligiran, huwag paganahin ang hangcheck. Hindi ito inirerekomenda para sa mga virtualization o iba pang karaniwang paggamit ng GPU, gaya ng paglalaro.

Ang workload na tumatagal ng higit sa apat na segundo para maipatupad ang GPU hardware ay isang mahabang workload. Bilang default, ang mga indibidwal na thread na kwalipikado bilang mga matagal nang workload ay itinuturing na nakabitin at winakasan. Sa pamamagitan ng hindi pagpapagana sa hangcheck timeout period, maiiwasan mo ang problemang ito.

TANDAAN: Kung ang kernel ay na-update, hangcheck ay awtomatikong pinagana. Patakbuhin ang pamamaraan sa ibaba pagkatapos ng bawat pag-update ng kernel upang matiyak na hindi pinagana ang hangcheck.

1. Magbukas ng terminal.
2. Buksan ang grub file sa /etc/default.
3. Sa grub file, hanapin ang linyang GRUB_CMDLINE_LINUX_DEFAULT=”” .
4. Ilagay ang tekstong ito sa pagitan ng mga panipi (“”):
5. Patakbuhin ang command na ito:
   sudo update-grub
6. I-reboot ang system. Nananatiling hindi pinagana ang Hangcheck.

Susunod na Hakbang
Ngayong na-configure mo na ang iyong system, magpatuloy sa Build at Run a Sampang Proyekto.

Bumuo at Magpatakbo ng isang Sample Gamit ang Command Line

Intel® AI Analytics Toolkit
Sa seksyong ito, magpapatakbo ka ng isang simpleng "Hello World" na proyekto upang maging pamilyar sa proseso ng pagbuo ng mga proyekto, at pagkatapos ay bumuo ng sarili mong proyekto.

TANDAAN: Kung hindi mo pa na-configure ang iyong development environment, pumunta sa I-configure ang iyong system pagkatapos ay bumalik sa page na ito. Kung nakumpleto mo na ang mga hakbang upang i-configure ang iyong system, magpatuloy sa mga hakbang sa ibaba.

Maaari mong gamitin ang alinman sa terminal window o Visual Studio Code* kapag nagtatrabaho mula sa command line. Para sa mga detalye kung paano gamitin ang VS Code nang lokal, tingnan ang Basic Usage ng Visual Studio Code na may oneAPI sa Linux*. Upang magamit ang VS Code nang malayuan, tingnan ang Remote Visual Studio Code Development na may oneAPI sa Linux*.

Bumuo at Magpatakbo ng isang Sampang Proyekto
Ang sampang mga nasa ibaba ay dapat na ma-clone sa iyong system bago mo mabuo ang sampang proyekto:

Upang makakita ng listahan ng mga bahagi na sumusuporta sa CMake, tingnan ang Gamitin ang CMake sa sa oneAPI Applications.

Bumuo ng Iyong Sariling Proyekto
Walang mga espesyal na pagbabago sa iyong umiiral na mga proyekto sa Python na kinakailangan upang simulan ang paggamit ng mga ito gamit ang toolkit na ito. Para sa mga bagong proyekto, ang proseso ay malapit na sumusunod sa prosesong ginamit para sa paglikha ng sampmga proyekto ng Hello World. Sumangguni sa Hello World README files para sa mga tagubilin.

Pag-maximize ng Pagganap
Maaari kang makakuha ng dokumentasyon upang matulungan kang i-maximize ang pagganap para sa alinman sa TensorFlow o PyTorch.

I-configure ang Iyong Kapaligiran

TANDAAN: Kung hindi available ang iyong virtual na kapaligiran, o kung gusto mong magdagdag ng mga pakete sa iyong virtual na kapaligiran, tiyaking nakumpleto mo na ang mga hakbang sa Gamitin ang Conda Clone Function upang Magdagdag ng Mga Package bilang Non-Root User.

Kung nagde-develop ka sa labas ng isang container, pagmulan ang sumusunod na script para magamit ang Intel® Distribution para sa Python*:

• • /setvars.sh
• saan ay kung saan mo na-install ang toolkit na ito. Bilang default, ang direktoryo ng pag-install ay:
• Mga pag-install ng root o sudo: /opt/intel/oneapi
• Mga pag-install ng lokal na user: ~/intel/oneapi

TANDAAN: Ang setvars.sh script ay maaaring pamahalaan gamit ang isang configuration file, na partikular na nakakatulong kung kailangan mong simulan ang mga partikular na bersyon ng mga aklatan o ang compiler, sa halip na mag-default sa "pinakabagong" bersyon. Para sa higit pang mga detalye, tingnan ang Paggamit ng Configuration File upang Pamahalaan ang Setvars.sh. Kung kailangan mong i-setup ang environment sa isang non-POSIX shell, tingnan ang oneAPI Development Environment Setup para sa higit pang mga opsyon sa configuration.

Upang lumipat ng mga kapaligiran, kailangan mo munang i-deactivate ang aktibong kapaligiran.
Ang sumusunod na example ay nagpapakita ng pag-configure ng kapaligiran, pag-activate ng TensorFlow*, at pagkatapos ay bumalik sa Intel Distribution para sa Python:

Mag-download ng Container

Intel® AI Analytics Toolkit
Nagbibigay-daan sa iyo ang mga container na mag-set up at mag-configure ng mga environment para sa pagbuo, pagpapatakbo at pag-profile ng mga oneAPI application at ipamahagi ang mga ito gamit ang mga larawan:

• Maaari kang mag-install ng isang imahe na naglalaman ng isang kapaligiran na na-pre-configure kasama ang lahat ng mga tool na kailangan mo, pagkatapos ay bumuo sa loob ng kapaligiran na iyon.
• Maaari mong i-save ang isang kapaligiran at gamitin ang imahe upang ilipat ang kapaligiran na iyon sa isa pang makina nang walang karagdagang pag-setup.
• Maaari kang maghanda ng mga container na may iba't ibang hanay ng mga wika at runtime, mga tool sa pagsusuri, o iba pang mga tool, kung kinakailangan.

I-download ang Larawan ng Docker*
Maaari kang mag-download ng imahe ng Docker* mula sa Containers Repository.

TANDAAN: Ang imahe ng Docker ay ~5 GB at maaaring tumagal ng ~15 minuto upang ma-download. Mangangailangan ito ng 25 GB ng disk space.

1. Tukuyin ang larawan:
   image=intel/oneapi-aikit docker pull “$image”
2. Hilahin ang larawan.
   docker pull "$image"

Kapag na-download na ang iyong larawan, magpatuloy sa Paggamit ng Mga Container na may Command Line.

Paggamit ng mga Container na may Command Line
Intel® AI Analytics Toolkit Direktang mag-download ng mga pre-built na container. Iiwan ka ng command sa ibaba para sa CPU sa isang command prompt, sa loob ng container, sa interactive na mode.

CPU
image=intel/oneapi-aikit docker run -it “$image”

Gamit ang Intel® Advisor, Intel® Inspector o VTune™ na may Mga Container
Kapag ginagamit ang mga tool na ito, kailangang magbigay ng mga karagdagang kakayahan sa lalagyan: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE

• docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it “$image”

Gamit ang Cloud CI Systems

Nagbibigay-daan sa iyo ang mga Cloud CI system na awtomatikong buuin at subukan ang iyong software. Tingnan ang repo sa github para sa exampkaunting configuration files na gumagamit ng oneAPI para sa mga sikat na cloud CI system.

Pag-troubleshoot para sa Intel® AI Analytics Toolkit

Mga Paunawa at Disclaimer

Ang mga teknolohiya ng Intel ay maaaring mangailangan ng pinaganang hardware, software o pag-activate ng serbisyo. Walang produkto o sangkap ang maaaring ganap na ligtas.
Ang iyong mga gastos at resulta ay maaaring magkakaiba.

© Intel Corporation. Ang Intel, ang logo ng Intel, at iba pang mga marka ng Intel ay mga trademark ng Intel Corporation o mga subsidiary nito. Maaaring i-claim ang ibang mga pangalan at brand bilang pag-aari ng iba.

Impormasyon sa Produkto at Pagganap

Nag-iiba ang pagganap ayon sa paggamit, pagsasaayos at iba pang mga salik. Matuto pa sa www.Intel.com/PerformanceIndex.
Notice revision #20201201

Walang lisensya (ipahayag o ipinahiwatig, sa pamamagitan ng estoppel o kung hindi man) sa anumang mga karapatan sa intelektwal na ari-arian ang ibinibigay ng dokumentong ito. Ang mga produktong inilarawan ay maaaring naglalaman ng mga depekto sa disenyo o mga error na kilala bilang errata na maaaring maging sanhi ng paglihis ng produkto mula sa mga nai-publish na mga detalye. Available ang kasalukuyang characterized errata kapag hiniling.

Tinatanggihan ng Intel ang lahat ng ipinahayag at ipinahiwatig na mga warranty, kabilang ang walang limitasyon, ang mga ipinahiwatig na warranty ng kakayahang maikalakal, pagiging angkop para sa isang partikular na layunin, at hindi paglabag, pati na rin ang anumang warranty na nagmumula sa kurso ng pagganap, kurso ng pakikitungo, o paggamit sa kalakalan.

Mga Dokumento / Mga Mapagkukunan

intel AI Analytics Toolkit para sa Linux [pdf] Gabay sa Gumagamit AI Analytics Toolkit para sa Linux, AI Analytics Toolkit, Analytics Toolkit para sa Linux, Analytics Toolkit, Toolkit

Mga sanggunian

• User Manual