0．前提

この記事はUnityを触ったことがあり、強化学習を行ってみたいという人向けになります。（自分用の備忘録でもある）
間違いなどありましたら教えて頂けるとありがたいです。

1.実行環境

Unity 2019.3.0f6
Anaconda 2019.03 for Windows 64bit Python3.7
ml-agents-release_3

2.環境構築

Unityのダウンロード

https://unity3d.com/get-unity/download/archive
上記URLから好きなバージョンのUnityをダウンロードします。

ML-Agentsのダウンロード

https://github.com/Unity-Technologies/ml-agents/tree/release_3
ここからzipファイルでダウンロード、またはgitでクローンします。

Anacondaのダウンロード

https://www.anaconda.com/products/individual
Windows 64bit Python3.7をダウンロードします。

Anaconda Promptを起動します。

環境作成

conda create -n [名前] Python=3.7

環境を作成します。
[名前]は各自好きな名前をつけて構いません。

環境切り替え

conda activate [名前]

先ほど作成した環境に切り替えます。
[名前]は先ほどつけた名前になります。

先頭の（）内が現在の環境の名前になっていて、環境が切り替わっているのがわかると思います。

フォルダ切り替え

cd [ダウンロードしたML-Agentsのフォルダまでのパス]

先ほどダウンロード（クローン）したフォルダに移動します。

ML-Agents用の環境インストール

pip install mlagents

ML-Agents用の環境をインストールします。
少し時間がかかるので気長に待ちましょう
学習時にもターミナルは使用するので、閉じずに残しておいて下さい。

以上で、環境の準備は完了です。

3.サンプル実行

ここでは、サンプルを使って実際に強化学習を行います。
今回は「3DBall」を用いて説明していきます。

学習の開始

mlagents-learn config/ppo/3DBall.yaml --run-id=[名前]

他のサンプルでやるときは3DBallのところは選んだサンプルの名前に変えてください。
[名前]に関しては自由です。保存される時のフォルダ名にもなるので、各自わかりやすくしてください。

Unityマークとこのような文が出てきたらシーンを実行して下さい。

規定のステップ数が終わると学習が完了します。
完了すると上のようなログが流れます。
※途中でやめたい時はCTRL+Cで途中で切りあげることもできます。

モデルを実行

学習が完了したモデルはresultsフォルダの中に実行時に決めた名前フォルダごとに入ります。
フォルダの中に入っているNNファイルをプロジェクト内にコピーしてください。

持ってきたモデルをBehavior Parametersの中のModelに貼ってください。
これで、モデルを切り替えることができました。

では、実際にシーンを実行してみましょう。
学習ができていることがわかると思います。

4.おわりに

今回は、詳しい説明は省いて、実際に学習を行うまでのやり方を説明しました。
次は、もう少し詳しいところまで記事にする予定です。