Интел AI Analytics Toolkit за Linux

Информации за производот

Комплетот за вештачка интелигенција е комплет со алатки што вклучува повеќе околини за машинско учење и проекти за длабоко учење. Вклучува средини за TensorFlow, PyTorch и Intel oneCCL Bindings. Тоа им овозможува на корисниците да го конфигурираат својот систем со поставување на променливи на околината, користење Conda за додавање пакети, инсталирање графички драјвери и оневозможување на hangcheck. Комплетот со алатки може да се користи во интерфејс на командната линија (CLI) и може лесно да се интегрира во постоечки проекти без никакви посебни модификации.

Употреба на производот

1. Конфигурирајте го вашиот систем со поставување на променливи на околината пред да продолжите.
2. За да работите во интерфејс на командната линија (CLI), користете ја скриптата setvars.sh за да ги конфигурирате алатките во пакетите со алатки oneAPI преку променливите на околината. Скриптата setvars.sh може да ја изворувате еднаш по сесија или секој пат кога отворате нов терминален прозорец. Скриптата setvars.sh може да се најде во основната папка на вашата инсталација на oneAPI.
3. Активирајте различни средини на conda по потреба преку командата „conda activate “. Комплетот за вештачка интелигенција вклучува средини за TensorFlow (CPU), TensorFlow со Intel Extension за Sample TensorFlow (GPU), PyTorch со Intel Extension за PyTorch (XPU) и Intel oneCCL Bindings за PyTorch (CPU).
4. Истражете ги поврзаните со секоја околина Започнување Сampе поврзано во табелата дадена во упатството за корисникот за повеќе информации за тоа како да се користи секоја околина.

Следните упатства претпоставуваат дека сте го инсталирале софтверот Intel® oneAPI. Ве молиме погледнете ја страницата Intel AI Analytics Toolkit за опции за инсталација. Следете ги овие чекори за да се изгради и да работи какоampсо Intel® AI Analytics Toolkit (AI Kit):

1. Конфигурирајте го вашиот систем.
2. Изградете и стартувајте Sampле.

ЗАБЕЛЕШКА: Стандардните инсталации на Python се целосно компатибилни со AI Kit, но се претпочита Intel® Distribution за Python*.
Не се потребни посебни модификации на вашите постоечки проекти за да започнете да ги користите со оваа алатка.

Компоненти на овој прибор со алатки

Комплетот за вештачка интелигенција вклучува

• Интел® оптимизација за PyTorch*: Библиотеката за длабока нервна мрежа на Intel® oneAPI (oneDNN) е вклучена во PyTorch како стандардна библиотека за математичко јадро за длабоко учење.
• Intel® Extension за PyTorch: Intel® Extension за PyTorch* ги проширува способностите на PyTorch* со ажурирани функции и оптимизации за дополнително зајакнување на перформансите на хардверот на Intel.
• Intel® оптимизација за TensorFlow*: оваа верзија интегрира примитиви од oneDNN во траењето на TensorFlow за забрзани перформанси.
• Intel® Extension for TensorFlow: Intel® Extension for TensorFlow* е хетероген додаток за длабоко учење со високи перформанси, базиран на интерфејсот TensorFlow PluggableDevice. Овој додаток за продолжување ги носи уредите Intel XPU (GPU, CPU, итн) во заедницата со отворен код TensorFlow за забрзување на обемот на работа со вештачка интелигенција.
• Дистрибуција на Intel® за Python*: Добијте побрзи перформанси на Python апликацијата веднаш надвор од кутијата, со минимални или никакви промени во вашиот код. Оваа дистрибуција е интегрирана со Intel® Performance Library како што се Intel® oneAPI Math Kernel Library и Intel®oneAPI Data Analytics Library.
• Intel® Distribution of Modin* (достапна само преку Anaconda), што ви овозможува беспрекорно да ја размерите претпроцесирањето низ повеќе јазли користејќи ја оваа интелигентна, дистрибуирана библиотека со податочна рамка со идентичен API како и пандите. Оваа дистрибуција е достапна само со инсталирање на Intel® AI Analytics Toolkit со Conda* Package Manager.
• Интел® невронски компресор: брзо распоредувајте решенија со ниска прецизност за заклучоци на популарни рамки за длабоко учење како што се TensorFlow*, PyTorch*, MXNet* и ONNX* (Open Neural Network Exchange).
• Intel® Extension for Scikit-learn*: беспрекорен начин да ја забрзате апликацијата за Scikit-learn со користење на Intel® oneAPI Data Analytics Library (oneDAL).
  Залепувањето на scikit-learn го прави добро прилагодена рамка за машинско учење за справување со проблеми од реалниот живот.
• XGBoost оптимизиран од Intel: овој добро познат пакет за машинско учење за стебла на одлуки засилени со градиент вклучува непречено, паѓачко забрзување за архитектурите на Intel® за значително да се забрза обуката на моделот и да се подобри точноста за подобри предвидувања.

Конфигурирајте го вашиот систем - Интел® AI Analytics Toolkit

Ако веќе не сте го инсталирале AI Analytics Toolkit, погледнете во Инсталирање на Intel® AI Analytics Toolkit. За да го конфигурирате вашиот систем, поставете променливи на околината пред да продолжите.

 

Поставете променливи на животната средина за развој на CLI
За работа во интерфејс на командната линија (CLI), алатките во алатките на oneAPI се конфигурираат преку
променливи на животната средина. За да поставите променливи на животната средина преку извори на скриптата setvars:

Опција 1: Извор setvars.sh еднаш по сесија
Извор setvars.sh секој пат кога ќе отворите нов терминален прозорец:

Можете да ја најдете скриптата setvars.sh во основната папка на вашата инсталација oneAPI, која обично е /opt/intel/oneapi/ за системски инсталации и ~/intel/oneapi/ за приватни инсталации.

За системски инсталации (потребни се привилегии за root или sudo):

• . /opt/intel/oneapi/setvars.sh

За приватни инсталации:

• . ~/intel/oneapi/setvars.ш

Опција 2: Еднократно поставување за setvars.sh
За автоматско поставување на околината за вашите проекти, вклучете го изворот на командата
/setvars.sh во скрипта за стартување каде што ќе се повика автоматски (замени
со патеката до локацијата за инсталирање на oneAPI). Стандардните локации за инсталација се /opt/
intel/oneapi/ за системски инсталации (потребни се привилегии за root или sudo) и ~/intel/oneapi/ за приватни инсталации.
За прampле, можете да го додадете изворот Командата /setvars.sh на вашиот ~/.bashrc или ~/.bashrc_profile или ~/.profile file. За да ги направите поставките трајни за сите сметки на вашиот систем, креирајте скрипта .sh во една линија во /etc/pro на вашиот системfile.d папка која извори setvars.sh (за повеќе детали, видете Ubuntu документација за променливи на животната средина).

ЗАБЕЛЕШКА
Скриптата setvars.sh може да се управува со помош на конфигурација file, што е особено корисно ако треба да иницијализирате одредени верзии на библиотеки или компајлерот, наместо да ја поставувате „најновата“ верзија. За повеќе детали, видете Користење на конфигурација File за да управувате со Setvars.sh.. Ако треба да ја поставите околината во школка што не е POSIX, видете го поставувањето на околината за развој на API за повеќе опции за конфигурација.

Следни чекори

• Ако не користите Conda или не развивате за графички процесор, изградете и стартувајте Sample Проект.
• За корисниците на Conda, продолжете на следниот дел.
• За развој на графички процесор, продолжете со корисниците на графичкиот процесор

Conda Environments во овој прибор со алатки
Во комплетот за вештачка интелигенција се вклучени повеќе опкружувања со конда. Секоја средина е опишана во табелата подолу. Откако ќе ги поставите променливите на животната средина во CLI околина како што е претходно наведено, тогаш можете да активирате различни средини на conda по потреба преку следнава команда:

• конда активира

За повеќе информации, ве молиме истражете ја поврзаноста на секоја средина за да започнете Сampсе поврзани во табелата подолу.

Користете ја функцијата Conda Clone за да додавате пакети како корисник без корен
Комплетот со алатки на Intel AI Analytics е инсталиран во папката oneapi, која бара привилегии за root за управување. Можеби ќе сакате да додавате и одржувате нови пакети користејќи Conda*, но не можете да го сторите тоа без пристап до root. Или, можеби имате root пристап, но не сакате да ја внесувате root лозинката секогаш кога ќе ја активирате Conda.

За да управувате со вашата околина без да користите root пристап, искористете ја функционалноста за клонирање Conda за да ги клонирате пакетите што ви се потребни во папка надвор од папката /opt/intel/oneapi/:

1. Од истиот терминален прозорец каде што работевте setvars.sh, идентификувајте ги околините Conda на вашиот систем:
   • conda env листа
     Ќе видите резултати слични на ова:
2. Користете ја функцијата за клонирање за да ја клонирате околината во нова папка. Во ексampподолу, новата средина се нарекува usr_intelpython, а околината што се клонира е именувана како база (како што е прикажано на сликата погоре).
   • conda create –name usr_intelpython – клон база
     Деталите за клонот ќе се појават:

1. Активирајте ја новата средина за да ја овозможите можноста за додавање пакети. конда активирајте usr_intelpython
2. Потврдете дека новата средина е активна. conda env листа
   Сега може да се развивате користејќи ја околината Conda за Интел Дистрибуција за Пајтон.
3. За да ја активирате околината TensorFlow* или PyTorch*:

TensorFlow

• конда активира тензорфло

PyTorch

• conda activate pytorch

Следни чекори

• Ако не развивате за графички процесор, изградете и стартувајте Sample Проект.
• За развој на графички процесор, продолжете со корисниците на графичкиот процесор.

Корисници на графичкиот процесор
За оние кои се развиваат на графички процесор, следете ги овие чекори:

Инсталирајте ги драјверите за графичкиот процесор
Ако ги следевте упатствата во Водичот за инсталација за да инсталирате драјвери за графичкиот процесор, може да го прескокнете овој чекор. Ако не сте ги инсталирале драјверите, следете ги упатствата во Водичот за инсталација.

Додајте корисник во видео групата
За работните оптоварувања со пресметување на графичкиот процесор, корисниците кои не се root (нормални) обично немаат пристап до уредот со графичкиот процесор. Погрижете се да ги додадете вашите вообичаени корисници во групата на видео; инаку, бинарните датотеки компајлирани за GPU-уредот ќе пропаднат кога ќе бидат извршени од нормален корисник. За да го решите овој проблем, додајте го корисникот кој не е root во видео групата:

• sudo usermod -a -G видео

Оневозможи Hangcheck
За апликации со долготраен графички процесор, пресметајте ги работните оптоварувања во природни средини, оневозможете ја проверката. Ова не се препорачува за виртуелизации или други стандардни употреби на графичкиот процесор, како што се игри.

Обемот на работа што трае повеќе од четири секунди за хардверот на графичкиот процесор да се изврши е долготраен обем на работа. Стандардно, поединечните нишки кои се квалификуваат како долготрајни работни оптоварувања се сметаат за обесени и се прекинати. Со оневозможување на периодот на истекот на проверката, можете да го избегнете овој проблем.

ЗАБЕЛЕШКА: Ако кернелот се ажурира, hangcheck автоматски се вклучува. Извршете ја процедурата подолу по секое ажурирање на кернелот за да се уверите дека проверката е оневозможена.

1. Отворете терминал.
2. Отворете го ѓубрето file во /etc/default.
3. Во ѓубрето file, најдете ја линијата GRUB_CMDLINE_LINUX_DEFAULT=”” .
4. Внесете го овој текст помеѓу наводниците („“):
5. Извршете ја оваа команда:
   sudo ажурирање-grub
6. Рестартирајте го системот. Hangcheck останува оневозможена.

Следен чекор
Сега кога сте го конфигурирале вашиот систем, продолжете со Build and Run a Sample Проект.

Изградете и стартувајте Sample Користење на командната линија

Интел® AI Analytics Toolkit
Во овој дел, ќе извршите едноставен проект „Hello World“ за да се запознаете со процесот на градење проекти, а потоа да изградите свој проект.

ЗАБЕЛЕШКА: Ако веќе не сте ја конфигурирале вашата развојна околина, одете во Конфигурирај го вашиот систем, а потоа вратете се на оваа страница. Ако веќе сте ги завршиле чекорите за конфигурирање на вашиот систем, продолжете со чекорите подолу.

Можете да користите или терминален прозорец или Visual Studio Code* кога работите од командната линија. За детали за тоа како локално да го користите VS Code, видете Основно користење на кодот на Visual Studio со oneAPI на Linux*. За да го користите VS Code од далечина, видете Remote Visual Studio Code Development with oneAPI на Linux*.

Изградете и стартувајте Sample Проект
С.ampлес подолу мора да се клонираат во вашиот систем пред да можете да го изградите sampпроектот:

За да видите список на компоненти што поддржуваат CMake, видете Користете го CMake за со апликациите на oneAPI.

Изградете свој проект
Не се потребни посебни модификации на вашите постоечки Python проекти за да започнете да ги користите со оваа алатка. За нови проекти, процесот внимателно го следи процесот што се користи за создавање на sample Hello World проекти. Видете го Hello World README files за инструкции.

Максимизирање на перформансите
Може да добиете документација која ќе ви помогне да ги максимизирате перформансите за TensorFlow или PyTorch.

Конфигурирајте ја вашата околина

ЗАБЕЛЕШКА: Ако вашата виртуелна околина не е достапна или ако сакате да додавате пакети во вашата виртуелна околина, проверете дали сте ги завршиле чекорите во Користете ја функцијата Conda Clone за додавање пакети како корисник без корен.

Ако се развивате надвор од контејнер, изворете ја следнава скрипта за да ја користите Дистрибуцијата Intel® за Python*:

• • /setvars.sh
• каде е местото каде што сте ја инсталирале оваа алатка. Стандардно, директориумот за инсталирање е:
• Root или sudo инсталации: /opt/intel/oneapi
• Инсталации на локални корисници: ~/intel/oneapi

ЗАБЕЛЕШКА: Скриптата setvars.sh може да се управува со помош на конфигурација file, што е особено корисно ако треба да иницијализирате одредени верзии на библиотеки или компајлерот, наместо да ја поставувате „најновата“ верзија. За повеќе детали, видете Користење на конфигурација File да Управува со Setvars.sh. Ако треба да ја поставите околината во обвивка што не е POSIX, видете го Поставувањето на околината за развој на oneAPI за повеќе опции за конфигурација.

За да префрлите средини, прво мора да ја деактивирате активната средина.
Следниве прample демонстрира конфигурирање на околината, активирање на TensorFlow* и потоа враќање во Дистрибуцијата на Интел за Python:

Преземете контејнер

Интел® AI Analytics Toolkit
Контејнерите ви дозволуваат да поставите и конфигурирате средини за градење, извршување и профилирање на oneAPI апликации и да ги дистрибуирате користејќи слики:

• Можете да инсталирате слика што содржи средина претходно конфигурирана со сите алатки што ви се потребни, а потоа да се развие во таа околина.
• Можете да зачувате околина и да ја користите сликата за да ја преместите таа околина на друга машина без дополнително поставување.
• Може да подготвите контејнери со различни групи јазици и работни времиња, алатки за анализа или други алатки, по потреба.

Преземете ја сликата на Docker*
Можете да преземете слика на Docker* од складиштето за контејнери.

ЗАБЕЛЕШКА: Сликата на Docker е ~ 5 GB и може да потрае ~ 15 минути за преземање. Ќе бара 25 GB простор на дискот.

1. Дефинирајте ја сликата:
   image=intel/oneapi-aikit docker pull „$image“
2. Повлечете ја сликата.
   Docker pull „$image“

Откако ќе се преземе вашата слика, продолжете со Користење контејнери со командната линија.

Користење на контејнери со командната линија
Интел® AI Analytics Toolkit Директно преземајте ги претходно изградените контејнери. Командата подолу за процесорот ќе ве остави во командната линија, внатре во контејнерот, во интерактивен режим.

Процесорот
image=intel/oneapi-aikit docker run -it „$image“

Користење на Intel® Advisor, Intel® Inspector или VTune™ со контејнери
Кога ги користите овие алатки, треба да му се обезбедат дополнителни можности на контејнерот: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE

• docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it “$image”

Користење на Cloud CI системи

Системите Cloud CI ви дозволуваат автоматски да го изградите и тестирате вашиот софтвер. Видете го репото во github за прampлес на конфигурација fileкои користат oneAPI за популарните облак CI системи.

Решавање проблеми за Intel® AI Analytics Toolkit

Известувања и одрекувања

Интел технологиите може да бараат активирање на хардвер, софтвер или услуга. Ниту еден производ или компонента не може да биде апсолутно безбеден.
Вашите трошоци и резултати може да варираат.

© Интел корпорација. Intel, логото на Intel и другите ознаки на Intel се заштитни знаци на Intel Corporation или нејзините подружници. Други имиња и брендови може да се бараат како сопственост на други.

Информации за производот и перформансите

Перформансите се разликуваат според употребата, конфигурацијата и други фактори. Дознајте повеќе на www.Intel.com/PerformanceIndex.
Известување за ревизија #20201201

Ниту една лиценца (експресно или имплицирана, со estoppel или на друг начин) за какви било права на интелектуална сопственост не е дадена со овој документ. Опишаните производи може да содржат дефекти во дизајнот или грешки познати како неправилности што може да предизвикаат производот да отстапи од објавените спецификации. Тековните карактеризирани грешки се достапни на барање.

Интел ги отфрла сите изречни и имплицитни гаранции, вклучително и без ограничување, имплицитните гаранции за прометливост, соодветност за одредена цел и непрекршување, како и каква било гаранција што произлегува од текот на извршувањето, текот на работењето или употребата во трговијата.

Документи / ресурси

Интел AI Analytics Toolkit за Linux [pdf] Упатство за корисникот Алатки за AI Analytics за Linux, AI Analytics Toolkit, Analytics Toolkit за Linux, Analytics Toolkit, Toolkit

Референци

• Упатство за употреба