CUDA+ml-agentsの環境構築メモ

動機

• ml-agentsでVisualObservationを行うとき、GPUで行うと計算速度の向上が見込めそう。
• →なので、CUDAを導入することにした
  • （追記）GPUに変えて、学習を行ったがそこまでクリティカルな学習時間の変化はなかった。こちらのissueにあるように、ml-agentsでGPUの恩恵がフルに受けられるシチュエーションは相当限られているのかも。

環境

• Windows 11（GPU対応のPC）
• ml-agents release22
• python3.10

手順

1. CUDA Toolkitのインストール

• こちらからCUDA Toolkitをダウンロード。
• バージョン: CUDA 12.1

2. インストール確認

1. 環境変数の確認
   • インストール後、以下のパスが通っていることを確認。
     C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin
2. コマンドプロンプトでnvcc -V と打ち込んで、以下のようなログが出れば成功

   Copyright (c) 2005-2023 NVIDIA Corporation
   Built on Wed_Feb__8_05:53:42_Coordinated_Universal_Time_2023
   Cuda compilation tools, release 12.1, V12.1.66
   Build cuda_12.1.r12.1/compiler.32415258_0
   

3. cuDNNのインストール

1. こちらからCUDA 12.1に対応したバージョン（8.9.0など）をダウンロード。
2. 下記フォルダを作成（管理者権限が必要かも）:
   • C:\Program Files\NVIDIA GPU Computing Toolkit\cuDNN
3. ダウンロードしたファイルを解凍し、以下2.で作成したcuDNNフォルダ配下にコピー：
   • bin, include, lib フォルダと LICENSE ファイル。

4. 環境変数の登録

• システム環境変数に以下を追加：
  • 変数名: CUDNN_PATH
    値: C:\Program Files\NVIDIA GPU Computing Toolkit\cuDNN
  • Pathに以下を追加：
    C:\Program Files\NVIDIA GPU Computing Toolkit\cuDNN\bin

5. 仮想環境(venv)の作成と有効化

python -m venv venv
.\venv\Scripts\activate

6. PyTorchのインストール

• 公式サイトでstable → windows → Pip → Python → CUDA12.1　と選択
• おそらく下記と同じコマンドが表示されるので、コマンドプロンプトに打ち込んでインストール

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

7. ml-agentsのインストール(参考)

以下のコマンドを実行：

pip3 install -e ./ml-agents-envs
pip3 install -e ./ml-agents

8. インストール確認

以下のPythonスクリプトを実行し、どちらも True なら成功：

import torch

print(torch.cuda.is_available())  # CUDAが有効
print(torch.backends.cudnn.enabled)  # cuDNNが有効

---

強化学習実行方法

1. InferenceDevice設定:

   • GPUを使用する場合、InferenceDeviceをComputeShaderに設定。

2. 学習コマンドにオプションを追加:

   • mlagents-learnコマンドに--torch-device=cudaオプションを付与。

3. GPU使用確認:

   • タスクマネージャーのGPUのCuda使用率またはnvidia-smiコマンドでGPUが正しく使用されている事を確認。
   • nvidia-smiでGPU情報が見れるのに、タスクマネージャーでCudaの使用率が見れない場合、以下の手順を踏むと治る。（参考）
     • システム > ディスプレイ > グラフィック > 既定のグラフィック設定 >「ハードウェア　アクセラレータによる GPU スケジューリング」を「オフ」にする

参考資料

• 【Unity】ML-AgentsでGPUを使おうと頑張った話【強化学習】
• 【Windows】UnityのMLAgentsを利用するための環境構築
• PyTorch-CUDA+cuDNN環境構築 on Windows 11