Introducing: Unity Machine Learning Agents
Unity ML-Agentsを使えば、Unity環境で強化学習を行うことができます。
チュートリアルは簡単に試すことができるのでまずはやってみましょう。

まず動かしてみる

Unityを起動して適当な名前でプロジェクトを作ります。

公式GitHubからML-Agents package with TensorflowSharpをダウンロード。実行して環境をインポートします。

Examples > Areaの中にあるWallSceneをやってみましょう。

HierarchyのAcademy > Brainを選択。BrainTypeがPlayerになっていることを確認して実行してみましょう。

キーボードのWASDで移動、スペースでジャンプ。
壁の向こうにある緑色のところに行けばゴールです。しかし、ただジャンプするだけでは壁は越えられないので、オレンジの箱を利用しなければいけません。

学習済みデータを利用する

このチュートリアルには学習済みのデータが付属しています。これを使ってみましょう。同じフォルダのTFModelsに入っているファイルがそれです。

まず、Edit > Project Settings > PlayerからOtherSettingsタブを開き、
Scripting Runtime Version を Experimental(.NET 4.6 Equivalent)
Scripting Define Symbols を ENABLE_TENSORFLOW
にします

今度は先ほどと違って、BrainTypeをInternalにします。

Graph Modelに強化学習のデータが入ります。デフォルトですでに入っていると思います。これがさっきのTFModelsに入っていたデータですね。

これで実行してみましょう。

強化学習されたモデルによって自動で動くと思います。
同様の手順でほかのサンプルも動かすことができます。

サンプル紹介

3DBall

Reacher

Tennis

Unity ML-Agentsの仕組み

移動したり、ジャンプしたりするAgentsはBrainとAcademyによって動作が制御されています。
BrainTypeがPlayerのときは人間が動かすことができ、Internalのときは学習済みモデルによって自動で動きました。
ExternalにするとPython APIを使用して、オープンソケットを介して通信することで、外部から行動を制御できます。
これを使って、強化学習を実際にやってみましょう。