Isaac Gymとは？
NVidia社が提供する深層学習向けの物理シミュレーションのこと。従来の深層学習ソフトウェアと異なり、GPUのみで計算を行うことができるので、CPUとGPUの間の通信を行わずに済み、その分のボトルネックが解消されて高速で動作するということのようだ。
（ちなみにこれらは正確にはIsaac Simというツールキットの特徴で、Isaac GymはIsaac Simを簡単に使えるようにするインターフェイスを提供する拡張機能である。）
また、Isaac Gymでは、
- ROS/ROS2のコマンドを使った操作ができる
- gazeboなどと同様にURDFファイルを用いてロボットモデルをインポートできる
など、ROSを強く意識したアプリケーションとなっている。
今回の環境構築では、主に
ここから情報を得ている。
コンピュータの最小要件
上の表を見てもらえればわかるように、VRAM8GB以上のGPUと、それなりの性能のCPUが必要になっている。また、表の下に記述があるように、WindowsではIsaac Simの一部機能が利用できないので、ROSを使うことも考慮するとOSは大人しくUbuntu20.04あたりにしておくのが無難。（22.04でない理由は後述)。
| CPU | AMD Ryzen™ 9 7950X3D プロセッサ |
| GPU | GeForce RTX™ 4080 Super ZOTAC製 |
| ストレージ | 1TB SSD NVMe Gen.4対応 WD製 |
| OS | Ubuntu20.04 |
以上のような環境を用いた。
アカウント登録
まず、Isaac gymをインストールするには、NVidia社にメールアドレスを登録する必要がある。
上のURLをクリックして「Join now」をクリックすると、下のような画像が出てくる。
ここに登録したいメールアドレスを書いて「Next」に進むと、
このような画面に移るので、メールアドレスとパスワードを記入して、NVidiaの個人情報についてのポリシーに同意すれば登録完了。
Isaac Gymのダウンロード
再び「Join now」を押すと、今度はIsaac Gymのダウンロード画面に遷移する。ここでアンケートに答えたのち、
緑色のボタンからダウンロードが可能。
この時、Ubuntu Linux18.04/20.04と、上で説明したものとは異なる環境が推奨されているが、多分古いだけだと思われる。とはいえ不安なので、どちらでも問題ないようUbuntuのバージョンは20.04を選択しよう。
環境構築
isaacgym/docs/index.htmlに大体のことが書いてあるから、まずはその通りに進めよう。
Prerequisitesは一旦後回し。
一つだけ注意として、NVidiaはanacondaを用いた環境構築を推奨しているので、
「Install in a new conda environment」 => 「Install Example RL Envionments」の順に行おう。conda(もしこだわりがあるならdocker)を使うことで、環境構築を間違えてもその環境を捨てて簡単にやり直すことができる。
ここで、まずAnacondaをinstallしてくる。
この通りにやれば問題ない。また、仮想環境内でpython3.6~3.8になっていればよいので、install後のpythonのバージョンが3.11.x(and more)でも問題ない。
以降はindex.htmlの指示通りに進もう。またここで注意点として、ubuntu20.04を使っているため、必ず
ImportError: libpython3.7m.so.1.0: cannot open shared object file: No such file or directory
というエラーを吐くはず。これを解決するために、
export LD_LIBRARY_PATH=/home/xyz/anaconda3/envs/rlgpu/lib
というふうに環境変数を定義してやる。(xyzは自分のディレクトリの名前。ImportErrorの後ろに書いてあるはずなのでそこをコピペするのが良い)
ここまででjoint_monkey.pyは動く。（もし動かないなら、次の項に一旦進んでから戻ってくる）。しかし、（少なくとも今回の環境では）このままではGPUを使うことができなかった。
NVidia Driverのインストール
Prerequisitesは、
- Ubuntu 18.04 or 20.04
- Python 3.6~3.8
- Minimum NVidia driver version:
- Linux: 470
(今回の動作環境)
| Nvidia driver | 535.171.04 |
| Cuda toolkit | 12.2 |
| python | 3.8.19 |
| anaconda | 24.1.2 |
| pytorch | 2.2.2 |
| torchvision | 0.17.2 |
| torchaudio | 2.2.2 |
先程後回しにしたのは、 このdriver周りがすごく面倒だから。
一旦ドライバのインストール法についてだが、
このようにしてドライバをインストールするのが良い。
ドライバのバージョンについては、環境によってまちまちだが、今回は535.171.04を使用している。多分新しくても問題はないと思うが、Isaac Gymの基となるIsaac Simが525.xx.xxを推奨しているため、新しすぎると動かないかもしれない。
詳しくはここを参照。
ドライバのバージョンが大事な理由は二段階に分かれていて、
- NVidiaドライバのバージョンに応じて、使えるcuda toolkit（nvidiaのGPUを数値計算に使うためのライブラリ）のバージョンが異なる
- cuda toolkitのバージョンに応じて、使用するpytorch(pythonの提供する深層学習ライブラリ)のバージョンが異なる
つまり、pytorchが動くように逆算してnvidia driverを入れる必要がある。
同時にあんまり古いドライバだと入れられなかったりもするので、場合によってはトライアンドエラーする必要があるが、入れ直す場合も上のリンクを参考にしてやれば良い。
pytorchはこのリンクを参考にして入れる。あまりpipとcondaを併用するのは良くないらしいので、自分はpip->condaと置き換えて利用した。(index.htmlで pip install -e .をするやつだけは仕方なくpipを利用した)
自分の環境では、二つ目のリンクのようにやるとpytorch2.2.2が入らなかったので、previousのようにpytorchのバージョンも指定してinstallしている。
conda install pytorch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 pytorch-cuda=12.1 -c pytorch -c nvidia
を使用。
また、cuda-12の後方互換性から、cuda-12.2でもcuda-12.1用のpytorchは問題なく動いた。（cuda-12.4,5で12.1のバージョンのものが動くかどうかは未確認。12.4用のpytorchはプレリリース版しかない。(2024/5/24現在)）
ここでの注意点だが、
- rlpguは最初python3.7系が入っている。pytorchは3.8以降でしか動かないので、必ず更新すること。3.9以降ではisaacgymの要件から外れるので必ず3.8
conda install python=3.8
とすれば3.8をインストール可能。
- 環境を作り直したい時は、
#仮想環境から一旦抜ける
conda deactivate
#rlgpuを削除
conda remove -name rlgpu --all
としてから、再びroot directoryに戻って
./create_conda_env_rlgpu.sh
conda activate rlgpu
とする。この時、IsaacGymEnvsのレポジトリに戻って
pip install -e .
としないと、
ImportError: No module named "hydra"
のようなエラーが出てしまうので注意。
- LD_LIBRARY_PATHをいちいちexportするのが面倒なら、~/.bashrcに記述すれば以降書かなくて良くなる
- pytorchが正常に入れられているかは、
python
touch.__version__
touch.cuda.is_available()
として
(バージョン)
True
となっているかで確認可能。
もしこれで動くならOKだが、自分の環境では他にも様々なエラーを吐いた。
Ninja build
自分の環境では、
RuntimeError: Ninja is required to load C++ extension
というエラーを吐いた。どうやら「Ninja build」というmakeに近いビルドツールが必要らしい。
このリンク先の言う通りにやったらうまくいった。
Numpy
numpy>=1.24の場合、np.intやnp.floatが非推奨となるので、代わりにnp.int64やnp.float64(or np.float32)に書き換えてやる必要がある。幸いisaacgym以下のコードを書き換えるだけで済んだので、該当箇所を書き換えて対応。
もしくは
conda install numpy=1.19.3
のようにダウングレードしても良い。
参考