＜インテル® Gaudi® AI アクセラレーターを活用した最適化＞
　• 新たなディープラーニング・モデルの作成も既存コードの移植も数分で完了
　• シンプルな開発と生産性の向上を両立しながら生成 AI のパフォーマンスを実現

詳細情報
https://www.intel.com/content/www/us/en/developer/platform/gaudi/overview.html

このチュートリアルでは、マシンに搭載されている AI アクセラレーターのタイプ (GPU、CPU、インテル® Gaudi® AI アクセラレーター) を自動で検出するコードの記述方法と、そのコードをスムーズに実行するために必要な変更の手順について説明します。開発者ならば、異なるタイプの AI アクセラレーターを同じモデルコードで動かしたいと考えるのではないでしょうか。例えば、GPU が搭載された開発用のノートブック PC で PyTorch コードを記述したいけれども、コードを実行するのはインテル® Gaudi® AI アクセラレーターが搭載された学習処理サーバーを想定している場合、最小限のコード変更だけで、共通のコードをベースに複数のハードウェア・プラットフォームを簡単に動かすことが可能です。

このチュートリアルでは、インテル® Gaudi® AI アクセラレーターを使用して学習処理を開始するのページで説明している torch_compile.py を例に、数カ所の調整だけで異なるプラットフォームにわたり利用可能なコードの記述方法を紹介します。torch_compile.py のコード例は次のとおりです。
https://docs.habana.ai/en/latest/PyTorch/Getting_Started_with_PyTorch_and_Gaudi/Getting_Started_with_PyTorch.html

このコードを対象のプラットフォーム上にある torch_compile.py ファイルにコピーすると、次のコマンドを使用して実行できるようになります。

PyTorch は有効だけれどもインテル® Gaudi® ソフトウェアがインストールされていない環境でこのコードを実行すると、次のようなエラーが発生します。

この不具合を回避するには、次のように import habana_frameworks ステートメントを try/except ブロックで括ります。

インポートの失敗が原因で例外がスローされた場合、このコードから htcore と hthpu の両方に None 値が渡されます。これはインテル® Gaudi® ソフトウェア・スタックがインストールされていない、または対象のプラットフォームで利用できないことを示しています。コードを再度実行してください。以下のようなエラーが出力されます。

コードは import ステートメントで失敗してはいないものの、やはりモデルをインテル® Gaudi® アクセラレーターのバックエンドへ移動させようとしています。これはインテル® Gaudi® ソフトウェアまたはドライバーなしではサポートされていません。アクセラレーター (HPU) を有効化する元の行は、以下のとおりです。

この行を、最も有効なハードウェアを動的に選択するコードに置き換えます。

None 値は、habana_frameworks モジュールがインストールされていない場合に hthpu へ渡され、インテル® Gaudi® ソフトウェアがインストールされているかの判断に使用できることを覚えておいてください。インストールされている場合、コードは is_available() API を使用して、サーバーにインテル® Gaudi® アクセラレーターが搭載されているかを動的に識別します。インテル® Gaudi® アクセラレーターを利用できない場合は、この API に相当する CUDA API によってサーバーに GPU が搭載されているかを判断します。見つからない場合、コードは CPU を使用します。
https://docs.habana.ai/en/latest/PyTorch/PyTorch_User_Guide/Python_Packages.html#hpu-apis

次に、インテル® Gaudi® ソフトウェアがインストールされている場合のみ、hpu_backend オプションを使用してモデルをコンパイルします。

これで GPU、CPU、インテル® Gaudi® AI アクセラレーターのいずれでも、このコードを実行できるようになりました。

関連記事
インテル® Gaudi® アクセラレーター, PyTorch, Python API
https://docs.habana.ai/en/latest/PyTorch/PyTorch_User_Guide/Python_Packages.html

製品およびパフォーマンスに関する情報
性能は、使用状況、構成、その他の要因によって異なります。詳細については、https://www.Intel.com/PerformanceIndex/ (英語) を参照してください。

関連情報：
インテル® Gaudi® 3 アクセラレーター
https://www.intel.co.jp/content/www/jp/ja/products/details/processors/ai-accelerators/gaudi.html