はじめに
Project Bonsaiについて調べてみましたの3回目の番外編です。
過去の内容はこちら。
1回目は「Bonsaiを触ってみる」
2回目は「Bonsaiをいじってみる」
3回目は「Bonsaiのシミュレータを触ってみる」
4回目は[「Bonsaiをローカル環境で使ってみるる」
ローカルシミュレータの実行速度が遅すぎるので、実用に耐えられるようBonsaiのシミュレータに登録してみたいと思います。
Bonsaiって何？
Microsoftが提供している自律システム向け機械教示サービスです。（現在はPublic Preview）
産業制御システムに焦点を当てた汎用ディープ強化学習プラットフォームのようです
学習時間を速くする
ローカルシミュレータが遅すぎる件について
ローカルシミュレータでもなんとかなるかなと思い、1日以上動かしてみたりしましたが、何ともなりませんでした。
通信トラブルで止まったり等もあり、散々です。
現在、学習させている内容は、1エピソードを50回にしているので、1回学習カリキュラムの実行回数は最大50回
Bonsaiは、70万エピソードを実行するか、これ以上学習が不要な状態になるまで実施しますので、
70万（学習回数） × 50回（エピソード） = 3500万回
の処理回数（最大）が必要となります。
私の環境の場合、ローカルシミュレータの実行速度は1秒当たり約6回
単純に、3500万 ÷ (6/s × 3600) = 約1620時間（約2か月・・？）
ローカルでやっては絶対ダメなやつでした。
シミュレータをコンテナ化する
シミュレータをコンテナ化することで、複数のインスタンスを実行させ、高速に学習させることができます。
「BonsaiをBonsaiのシミュレータを触ってみる」では、VisualStudio上から実行しましたが、こちらをDockerのコンテナ化します。
シミュレータのパッケージを出力する
まずは、VisualStudioからシミュレータのパッケージを出力します。
プロジェクトを右クリックし、メニューから「発行」を選択します。
「発行」ボタンをクリックして、パッケージを出力します。
まずはローカルで動作確認をする
Bonsaiに登録する前に、ローカル環境下で問題なく動作するか確認してみます。
Dockerのイメージを作成する
「Microsoft.Bonsai.Api.Samples.Cartpole」フォルダから以下のコマンドを実行します。
docker build -t csharp-cartpole .
正常に終了すると、Dockerのイメージが作成されます。
シミュレータのパッケージ出力ができてない場合は、エラーになりますので注意ください。
Dockerをイメージを実行する
コンテナが実際に動作するか実行して確認します。
以下のコマンドを実行し、起動させます。
docker run --rm -it -e SIM_WORKSPACE="SIM_WORKSPACE" -e SIM_ACCESS_KEY="SIM_ACCESS_KEY" -e SIM_API_HOST="https://api.bons.ai" csharp-cartpole
SIM_WORKSPACEには、Bonsaiのworkspace IDを設定します。
SIM_ACCESS_KEY には、BonsaiのAccessKeyを設定します。
起動すると、デバッグ時と同じように、Bonsaiとの接続待ちのログが出力されます。
デバッグ機能で動作を検証する
Dockerで動いているシミュレータが、Bonsai上と接続できているか確認します。
「Simulators」に、「CartPole-CSharp Unmanaged」が追加されていれば接続は問題ありません。
次に、シミュレータがうまく動作するかBonsaiのデバッガ確認します。
※確認方法は、「Bonsaiのシミュレータを触ってみる」をご確認ください。
シミュレータをBonsaiで使うために準備する
動くことを確認したら、次はAzureでシミュレータを動かします。
ちなみに、Bonsaiによって管理されるシミュレータを実行すると、課金されます。
必ずローカルでテストしてから実施してください。
シミュレータをBonsaiに追加する
まずは、以下のコマンドを実行し、Azure Container Registry（以下ACR）インスタンスにログインします。
az acr login --name ACR_NAME
Docerfileからイメージをビルドします。
※ローカルで実行した場所と同じ場所で実行してください。
az acr build \
--image IMAGE_NAME:TAG \
--registry ACR_NAME \
--file Dockerfile .
ビルド完了後、以下のコマンドを実行することで、リストが表示され正常にアップロードされているか確認できます。
az acr repository list --name ACR_NAME --output table
Bonsaiにシミュレータをパッケージとして登録する
次に、Bonsainiシミュレータを追加します。
「Simulators」右にある、「＋Add Sim」をクリックします。
クリックすると、シミュレータの追加画面が表示されるので、一覧から「Other」を選択します。
ACRにアップロードしたシミュレータを指定します。
image pathは、ビルド時に指定したIMAGE_NAMEを指定します。
今回はdisplay nameも同じにしています。
最後に、シミュレータの環境を設定しますが、Cores及び、メモリは、既存値の使用（1コア、1Gメモリ）が推奨されているようです。
※Max instanceは、コストと速度からベストな数を選んでください。
すべて入力が終わったら、「Create simulator」をクリックすることで、シミュレータが追加されます。
「csharp-cartpol（Unmanagedがついていない）」がSimulatorsが登録されます。
また、ローカルシミュレータの時にはなかった、Packageも表示されています。
教育カリキュラムの呼び出し先に指定する
シミュレータのPackage名を設定することで、直接シミュレータを指定することができます。（チュートリアルと同じ）
source simulator(Action: SimAction):SimState{
package "csharp-cartpole"
}
まとめ
今回はローカルのシミュレータを、Bonsaiに登録するまでを試してみました。
正直、シミュレータをデバッグする状況でない限り、ローカルで動かすのは得策ではないことを身をもって実感しました。
ちなみにBonsai上で動かすと、インスタンス数が1でも、ローカルの10倍以上速かったです。
Bonsai登録後は、課金されるのに躊躇していましたが、使わないと作業が終わらないことがわかりました、、
ただ、使うたびに課金されますので、しっかりデバッグしてから実施ください。