概要
ML-Agentsでカートポールを実装し、学習させます。自分でML-Aegentsを使って学習させるモデルを作成したい人の助けになればいいと思っています。
はじめに
ML-Agentsのサンプルのようなモデルを自作します。学習方法は前回の記事で説明したので、今回は学習させるモデルの作り方を中心に記事にしました。公式のドキュメントを参考にしました。細かいところはこちらを確認してください。
全体の流れ
モデルの作成、学習には主に４つ工程があります。
- unityで3Dモデルを作成
- 学習させるエージェントのスクリプトを記述する
- Behavior Parameterを設定する
- 学習させる
実際に作成しながら説明していきます。
記事が長くなるので今回は３Dモデルの作成まで説明します。
unityで3Dモデルを作成
はじめにunityで学習させたい3Dモデルを作成します。今回はカートポールを実装します。カートポールとはカートについているポールが倒れないように制御する問題のことです。
最終的には以下のモデルを作成します。学習を効率化するために複数のモデルを置いてます。
カートポール作成
まずはじめに以下のモデルの作成について説明します。
左下のProjectで以下の画像のようにCartPoleというフォルダを作成してください。また、File/New Sceneから新しいシーンを作成しCart Poleと名付けて作成したフォルダに保存してください。
Materialにはカートやポール、床の材料特性を設定するものが入ります。Scriptには作成したオブジェクトを動かすスクリプトが入ります。最後のTFModelsは学習済みモデルを入れるフォルダになります。
次にsceneを開いて以下のように３D Objectを追加してください。
追加する3D Objectは cube, sylinder, plane をそれぞれ一つづつ追加してください。また追加したら cubeをCartに、sylinderをPoleに名前を変更してください。また、CartとPoleはTrainingAreaという空のObjectを作成し、そこに入れてください。
それぞれのスケールなどは以下の画像を参考にしてください。
次にcomponentを追加していきます。
Componentの追加
unity では作成したオブジェクトにcomponentを追加することで様々な特性を持たせることができます。今回は rigidbody と Hinge Joint を追加します。 rigidbody を追加することによって、オブジェクトを物理特性によって制御することができるようになります。具体的には重力を付加したり、力を加えたり、空気抵抗などを設定することができます。Hinge Joint を追加するとCart と Pole がヒンジで結合されます。
componentの追加方法は、追加したいオブジェクトを選択し、画面の右下にある Add Component をクリックし追加したい物を選択します。
rigidbodyの追加
「rigidbody」を選択します。
CartとPoleにそれぞれ追加してください。追加されると以下の画像のようになると思います。
パラメータをそれぞれ画像のように設定してください。（適当でもいいです）
Mass はオブジェクトの質量[Kg]です。
Drag は空気抵抗を表しています。値が大きくなるほど抵抗が大きくなります。0の場合は真空状態となります。
Angular Drag はオブジェクトが回転する時の空気抵抗です。値が大きいほど回転しにくくなります。
Constraints / Freeze Position はオブジェクトの動きを制限させます。今回Cartは横方向（Z方向)に動いて欲しいので、手前方向（X方向）にチェックを入れます。
Freeze Rotation はオブジェクトの回転を制限します。今回はCartは回転しないので全てにチェックを入れてください。
Hinge Joint の追加
Add Component / Physics / Hinge Joint から追加してください。
パラメータを画像のように設定してください。また Connected Body に Cart を追加してください。
Materialの設定
次にオブジェクトのMaterialの設定をします。Cart と Pole は色を設定するだけなので各自設定してください。今回はPlaneで摩擦を設定します。Materialフォルダの中にPhysic Material を追加して、Planeという名前に変更してください。真ん中の黄緑色のやつができると思います。
Dynamic Friction で動摩擦を設定します。値は 0~inf で大きいほどオブジェクトが動かなくなります。
Static Friction は静止摩擦を設定します。
今回摩擦のパラメータは適当でいいです（大きすぎるとCartが動かなくなります）。
作成した Physic Material を Plane オブジェクトに追加してください。Planeオブジェクトを選択し、そこにドラッグアンドドロップすればいいです。画像の印のようになっていればOKです。
これで３Dオブジェクトは完成になります。
まとめ
今回はunityで3DオブジェクトのCart Pole を作成しました。これで学習させるモデルはほぼ完成しました。次回はスクリプトを書いていきます。