Linux 用インテル AI アナリティクス ツールキット
製品情報
AI Kit は、機械学習およびディープ ラーニング プロジェクト用の複数の conda 環境を含むツールキットです。 TensorFlow、PyTorch、Intel oneCCL Bindings の環境が含まれています。 ユーザーは、環境変数を設定し、Conda を使用してパッケージを追加し、グラフィックス ドライバーをインストールし、ハングチェックを無効にすることで、システムを構成できます。 このツールキットはコマンド ライン インターフェイス (CLI) で使用でき、特別な変更を加えることなく既存のプロジェクトに簡単に統合できます。
製品の使用
- 続行する前に、環境変数を設定してシステムを構成します。
- コマンド ライン インターフェイス (CLI) で作業するには、setvars.sh スクリプトを使用して、環境変数を介して oneAPI ツールキットのツールを構成します。 setvars.sh スクリプトは、セッションごとに XNUMX 回、または新しいターミナル ウィンドウを開くたびに source できます。 setvars.sh スクリプトは、oneAPI インストールのルート フォルダーにあります。
- コマンド「conda activate」を使用して、必要に応じてさまざまな conda 環境をアクティブ化します」。 AI キットには、TensorFlow (CPU) 用の conda 環境、Intel Extension for S を備えた TensorFlow が含まれています。ample TensorFlow (GPU)、PyTorch (XPU) 用の Intel 拡張機能を備えた PyTorch、および PyTorch (CPU) 用の Intel oneCCL バインディング。
- 各環境の関連するはじめに S を調べるamp各環境の使用方法の詳細については、ユーザー マニュアルに記載されている表にリンクされているファイルを参照してください。
次の手順は、インテル® oneAPI ソフトウェアがインストールされていることを前提としています。 インストール オプションについては、インテル AI アナリティクス ツールキットのページをご覧ください。 次の手順に従って、次のようにビルドして実行しますampインテル® AI アナリティクス・ツールキット (AI キット) を使用したファイル:
- システムを構成します。
- S をビルドして実行するampル。
注記： 標準の Python インストールは AI キットと完全に互換性がありますが、インテル® ディストリビューション for Python* が推奨されます。
このツールキットで既存のプロジェクトの使用を開始するために、既存のプロジェクトを特別に変更する必要はありません。
このツールキットのコンポーネント
AI キットの内容
- インテル® Optimization for PyTorch*: インテル® oneAPI ディープ・ニューラル・ネットワーク・ライブラリー (oneDNN) は、ディープラーニング用のデフォルトの数学カーネル・ライブラリーとして PyTorch に含まれています。
- Intel® Extension for PyTorch: Intel® Extension for PyTorch* は、PyTorch* 機能を最新の機能と最適化で拡張し、Intel ハードウェアのパフォーマンスをさらに向上させます。
- Intel® Optimization for TensorFlow*: このバージョンは、oneDNN のプリミティブを TensorFlow ランタイムに統合して、パフォーマンスを加速します。
- Intel® Extension for TensorFlow: Intel® Extension for TensorFlow* は、TensorFlow PluggableDevice インターフェイスに基づく異種の高性能ディープラーニング拡張プラグインです。 この拡張プラグインは、Intel XPU (GPU、CPU など) デバイスを TensorFlow オープンソース コミュニティに持ち込み、AI ワークロードを高速化します。
- Intel® Distribution for Python*: 箱から出してすぐに、コードを最小限に、またはまったく変更せずに、Python アプリケーションのパフォーマンスを高速化します。 このディストリビューションは、インテル® oneAPI マス・カーネル・ライブラリーやインテル® oneAPI データ分析ライブラリーなどのインテル® パフォーマンス・ライブラリーと統合されています。
- Intel® Distribution of Modin* (Anaconda からのみ利用可能)。pandas と同一の API を備えたこのインテリジェントな分散データフレーム ライブラリを使用して、マルチノード間で前処理をシームレスにスケーリングできます。 このディストリビューションは、インテル® AI アナリティクス・ツールキットを Conda* パッケージ・マネージャーと共にインストールすることによってのみ利用できます。
- Intel® Neural Compressor : TensorFlow*、PyTorch*、MXNet*、ONNX* (Open Neural Network Exchange) ランタイムなどの一般的な深層学習フレームワークに低精度の推論ソリューションを迅速に展開します。
- Intel® Extension for Scikit-learn*: Intel® oneAPI Data Analytics Library (oneDAL) を使用して Scikit-learn アプリケーションを高速化するシームレスな方法。
scikit-learn にパッチを適用すると、現実の問題に対処するのに適した機械学習フレームワークになります。 - Intel によって最適化された XGBoost: 勾配ブーストされた決定木用のこのよく知られた機械学習パッケージには、Intel® アーキテクチャ用のシームレスなドロップイン アクセラレーションが含まれており、モデルのトレーニングを大幅に高速化し、精度を向上させて予測を向上させます。
システムの構成 – インテル® AI アナリティクス ツールキット
AI アナリティクス ツールキットをまだインストールしていない場合は、インテル® AI アナリティクス ツールキットのインストールを参照してください。 システムを構成するには、続行する前に環境変数を設定します。
CLI 開発用の環境変数の設定
コマンド ライン インターフェイス (CLI) で作業する場合、oneAPI ツールキットのツールは次の方法で構成されます。
環境変数。 setvars スクリプトを使用して環境変数を設定するには:
オプション 1: セッションごとに XNUMX 回、setvars.sh をソース化する
新しいターミナル ウィンドウを開くたびに setvars.sh をソースします。
setvars.sh スクリプトは、oneAPI インストールのルート フォルダーにあります。これは通常、システム全体のインストールの場合は /opt/intel/oneapi/、プライベート インストールの場合は ~/intel/oneapi/ です。
システム全体のインストールの場合 (root または sudo 権限が必要):
- 。 /opt/intel/oneapi/setvars.sh
個人的なインストールの場合:
- 。 ~/intel/oneapi/setvars.sh
オプション 2: setvars.sh の XNUMX 回限りのセットアップ
プロジェクトの環境を自動的にセットアップするには、コマンド source を含めます。
/setvars.sh は、自動的に呼び出される起動スクリプトに含まれています (置き換えてください)。
を oneAPI のインストール場所へのパスに置き換えます)。 デフォルトのインストール場所は /opt/ です
システム全体のインストール (root または sudo 権限が必要) の場合は intel/oneapi/、プライベート インストールの場合は ~/intel/oneapi/ です。
例えばampル、ソースを追加できます/setvars.sh コマンドを ~/.bashrc または ~/.bashrc_pro にfile または ~/.profile file. システム上のすべてのアカウントの設定を永続的にするには、システムの /etc/pro に XNUMX 行の .sh スクリプトを作成します。filesetvars.sh をソースとする .d フォルダー (詳細については、環境変数に関する Ubuntu のドキュメントを参照してください)。
注記
setvars.sh スクリプトは、構成を使用して管理できます fileこれは、「最新」バージョンにデフォルト設定するのではなく、特定のバージョンのライブラリまたはコンパイラを初期化する必要がある場合に特に役立ちます。 詳細については、構成の使用を参照してください。 File Setvars.sh を管理します。非 POSIX シェルで環境をセットアップする必要がある場合、その他の構成オプションについては、oneAPI 開発環境のセットアップを参照してください。
次のステップ
- Conda を使用していない場合、または GPU 向けに開発していない場合は、S をビルドして実行します。ampルプロジェクト。
- Conda ユーザーの場合は、次のセクションに進んでください。
- GPU での開発については、GPU ユーザーに進んでください。
このツールキットの Conda 環境
AI Kit には複数の conda 環境が含まれています。 各環境について、次の表で説明します。 前述の手順に従って環境変数を CLI 環境に設定したら、次のコマンドを使用して、必要に応じてさまざまな conda 環境をアクティブ化できます。
- コンダアクティブ化
詳細については、各環境に関連するはじめに S を参照してください。amp以下の表にリンクされています。
Conda Clone 関数を使用して非ルート ユーザーとしてパッケージを追加する
インテル AI アナリティクス ツールキットは oneapi フォルダーにインストールされ、管理にはルート権限が必要です。 Conda* を使用して新しいパッケージを追加および維持したい場合がありますが、root アクセスなしでは実行できません。 または、root アクセス権を持っていても、Conda をアクティブ化するたびに root パスワードを入力したくない場合があります。
root アクセスを使用せずに環境を管理するには、Conda クローン機能を利用して、必要なパッケージを /opt/intel/oneapi/ フォルダーの外部のフォルダーにクローンします。
- setvars.sh を実行したのと同じターミナル ウィンドウから、システムの Conda 環境を特定します。
- コンダ環境リスト
次のような結果が表示されます。
- コンダ環境リスト
- clone 関数を使用して、環境を新しいフォルダーに複製します。 元ではamp以下のファイルでは、新しい環境に usr_intelpython という名前が付けられ、複製される環境に base という名前が付けられています (上の画像に示されているように)。
- conda create –name usr_intelpython –clone Base
クローンの詳細が表示されます。
- conda create –name usr_intelpython –clone Base
- 新しい環境をアクティブにして、パッケージを追加できるようにします。 conda は usr_intelpython をアクティブにします
- 新しい環境がアクティブであることを確認します。 コンダ環境リスト
Intel Distribution for Python の Conda 環境を使用して開発できるようになりました。 - TensorFlow* または PyTorch* 環境をアクティブにするには:
テンソルフロー
- コンダはテンソルフローをアクティブにします
パイトーチ
- conda は pytorch をアクティブにします
次のステップ
- GPU 向けに開発していない場合は、S をビルドして実行します。ampルプロジェクト。
- GPU での開発については、GPU ユーザーに進んでください。
GPU ユーザー
GPU で開発している場合は、次の手順に従います。
GPU ドライバーをインストールする
インストール ガイドの手順に従って GPU ドライバーをインストールした場合は、この手順を省略できます。 ドライバをインストールしていない場合は、インストール ガイドの指示に従ってください。
ユーザーをビデオ グループに追加
GPU コンピューティング ワークロードの場合、通常、root 以外の (通常の) ユーザーは GPU デバイスにアクセスできません。 通常のユーザーを必ずビデオ グループに追加してください。 そうしないと、GPU デバイス用にコンパイルされたバイナリを通常のユーザーが実行すると失敗します。 この問題を解決するには、root 以外のユーザーをビデオ グループに追加します。
- sudo usermod -a -G ビデオ
ハングチェックを無効にする
ネイティブ環境で GPU コンピューティング ワークロードが長時間実行されるアプリケーションの場合は、ハングチェックを無効にします。 これは、仮想化や、ゲームなどの GPU のその他の標準的な用途にはお勧めできません。
GPU ハードウェアの実行に XNUMX 秒以上かかるワークロードは、実行時間の長いワークロードです。 デフォルトでは、実行時間の長いワークロードとして認定された個々のスレッドはハングしていると見なされ、終了します。 ハングチェックのタイムアウト期間を無効にすることで、この問題を回避できます。
注記： カーネルが更新されると、ハングチェックが自動的に有効になります。 カーネルを更新するたびに以下の手順を実行して、ハングチェックが無効になっていることを確認します。
- ターミナルを開きます。
- グラブを開く file /etc/default にあります。
- グラブで file、行 GRUB_CMDLINE_LINUX_DEFAULT=”” を見つけます。
- 引用符 ("") の間に次のテキストを入力します。
- 次のコマンドを実行します。
sudo アップデート-grub - システムを再起動します。 ハングチェックは無効のままです。
次のステップ
システムの構成が完了したので、S のビルドと実行に進みます。ampルプロジェクト。
S をビルドして実行するampコマンドラインの使用
インテル®AIアナリティクスツールキット
このセクションでは、単純な「Hello World」プロジェクトを実行して、プロジェクトの構築プロセスに慣れてから、独自のプロジェクトを構築します。
注記： 開発環境をまだ構成していない場合は、システムの構成に移動してから、このページに戻ってください。 システムを構成する手順を既に完了している場合は、以下の手順に進みます。
コマンドラインから作業する場合は、ターミナル ウィンドウまたは Visual Studio Code* のいずれかを使用できます。 VS Code をローカルで使用する方法の詳細については、Linux* で oneAPI を使用した Visual Studio Code の基本的な使用法を参照してください。 VS Code をリモートで使用するには、Linux* で oneAPI を使用したリモート Visual Studio コード開発を参照してください。
S をビルドして実行するampルプロジェクト
Samps をビルドする前に、以下のファイルをシステムに複製する必要があります。ampleプロジェクト：
CMake をサポートするコンポーネントのリストを確認するには、oneAPI アプリケーションでの CMake の使用を参照してください。
独自のプロジェクトを構築する
このツールキットで既存の Python プロジェクトの使用を開始するために、既存の Python プロジェクトを特別に変更する必要はありません。 新しいプロジェクトの場合、プロセスは、ample Hello World プロジェクト。 Hello World README を参照してください。 files は指示用です。
パフォーマンスの最大化
TensorFlow または PyTorch のパフォーマンスを最大化するのに役立つドキュメントを入手できます。
環境を構成する
注記： 仮想環境が利用できない場合、または仮想環境にパッケージを追加する場合は、「Conda クローン機能を使用して非ルート ユーザーとしてパッケージを追加する」の手順を完了していることを確認してください。
コンテナー外で開発している場合は、次のスクリプトをソースとしてインテル® ディストリビューション for Python* を使用します。
-
- /setvars.sh
- どここのツールキットをインストールした場所です。 デフォルトでは、インストール ディレクトリは次のとおりです。
- root または sudo インストール: /opt/intel/oneapi
- ローカル ユーザーによるインストール: ~/intel/oneapi
注記: setvars.sh スクリプトは、構成を使用して管理できます。 fileこれは、「最新」バージョンにデフォルト設定するのではなく、特定のバージョンのライブラリまたはコンパイラを初期化する必要がある場合に特に役立ちます。 詳細については、構成の使用を参照してください。 File Setvars.sh を管理します。 非 POSIX シェルで環境をセットアップする必要がある場合は、oneAPI 開発環境のセットアップを参照して、その他の構成オプションを確認してください。
環境を切り替えるには、まずアクティブな環境を非アクティブ化する必要があります。
次の例ampファイルは、環境の構成、TensorFlow* のアクティブ化、および Python 用 Intel ディストリビューションへの戻りを示しています。
コンテナをダウンロードする
インテル®AIアナリティクスツールキット
コンテナーを使用すると、oneAPI アプリケーションを構築、実行、プロファイリングするための環境をセットアップおよび構成し、イメージを使用してそれらを配布できます。
- 必要なすべてのツールで事前構成された環境を含むイメージをインストールし、その環境内で開発できます。
- 環境を保存し、イメージを使用して、追加のセットアップなしでその環境を別のマシンに移動できます。
- 必要に応じて、さまざまな言語とランタイムのセット、分析ツール、またはその他のツールを含むコンテナーを準備できます。
Docker* イメージのダウンロード
コンテナー・リポジトリーから Docker* イメージをダウンロードできます。
注記： Docker イメージは最大 5 GB で、ダウンロードには最大 15 分かかる場合があります。 25 GB のディスク容量が必要です。
- イメージを定義します。
image=intel/oneapi-aikit docker pull "$image" - 画像を引っ張ります。
ドッカープル「$image」
イメージがダウンロードされたら、コマンド ラインでコンテナーを使用するに進みます。
コマンドラインでコンテナを使用する
インテル® AI アナリティクス ツールキット ビルド済みコンテナーを直接ダウンロードします。 以下の CPU 用のコマンドは、コンテナー内のコマンド プロンプトを対話型モードのままにします。
CPU
image=intel/oneapi-aikit docker run -it “$image”
コンテナーでのインテル® Advisor、インテル® Inspector、または VTune™ の使用
これらのツールを使用する場合、コンテナに追加の機能を提供する必要があります: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE
- docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it “$image”
クラウド CI システムの使用
クラウド CI システムを使用すると、ソフトウェアを自動的に構築およびテストできます。 exのgithubのレポを参照してくださいamp構成のファイル file一般的なクラウド CI システムに oneAPI を使用する s。
インテル® AI アナリティクス ツールキットのトラブルシューティング
通知と免責事項
インテルのテクノロジーでは、有効なハードウェア、ソフトウェア、またはサービスのアクティベーションが必要になる場合があります。 絶対に安全な製品やコンポーネントはありません。
費用と結果は異なる場合があります。
© インテル コーポレーション。 Intel、Intel ロゴ、およびその他の Intel マークは、Intel Corporation またはその子会社の商標です。 他の名前およびブランドは、他者の所有物であると主張される場合があります。
製品・性能情報
パフォーマンスは、使用、構成、およびその他の要因によって異なります。 詳細はこちら www.Intel.com/PerformanceIndex.
通知改訂 #20201201
このドキュメントでは、知的財産権に対するライセンス (明示または黙示、禁反言またはその他による) は付与されていません。 記載されている製品には、製品が公開された仕様から逸脱する原因となる正誤表として知られる設計上の欠陥またはエラーが含まれている場合があります。 現在の特徴付けられた正誤表は、要求に応じて入手できます。
インテルは、商品性、特定の目的への適合性、および非侵害の黙示の保証、および履行過程、取引過程、または商取引での使用から生じる保証を含むがこれらに限定されない、すべての明示的および黙示的保証を否認します。
ドキュメント / リソース
 |
Linux 用インテル AI アナリティクス ツールキット [pdf] ユーザーガイド Linux 用 AI 分析ツールキット、AI 分析ツールキット、Linux 用分析ツールキット、分析ツールキット、ツールキット |
