はじめに

「自動運転シミュレーション」は車を壁や他の車に衝突させないように運転させる学習環境です。
車が壁やほかの車に衝突するとエピソードが完了し、長く運転し続けた方が報酬が多くなるように設定している。

使ったもの

ML-Agents(https://unity3d.com/jp/machine-learning)
AnacondaNavigator(https://anaconda.org/anaconda/anaconda-navigator)
自動運転車の3Dモデル(https://assetstore.unity.com/packages/3d/vehicles/land/car-20128)

方法

学習実行のコマンド

※MacでUnity ML-Agentsの環境を構築する(v0.5.0対応)を参照

AnacondaNavigatorから作成した環境のTermialを起動する。

Terminal上で .../ml-agents-master/ml-agentsまで移動して、
$mlagents-learn trainer_config.yamlのパス --env=hoge1 --run-id=hoge2 --train
hoge1はUnityでBuildした実行ファイルの名前。ただし、拡張子(.exe, .app)は抜く。
hoge2は出力される学習モデル(ml-agents-master/ml-agents/models/hoge2-0/hoge1_hoge2.bytes)の名前。

ソースコードの構成

CarAcademy.cs:Academy(Academy.csのオーバーライド)
Brain.cs:Brain(ML-Agents/Scripts/Brain.cs)
CarAgent.cs:Agent
RayPerception.cs:Agentの衝突判定(ML-Agents/Examples/SharedAssets/Scripts/RayPerception.cs)

ソースコードの詳細

CarAcademy.cs

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using MLAgents;

public class CarAcademy : Academy
{
	public override void AcademyReset()
	{

	}

	public override void AcademyStep()
	{

	}
}

CarAgent.cs

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.Sprites;
using MLAgents;

public class CarAgent : Agent {
	// 参照
	private CarRayPerception rayPer;
	private Rigidbody rigidbody;

	// 変数
	private Vector3 initPosition; //初期位置
	private Quaternion initRotation; // 初期向き
	private bool crush; //衝突フラグ

	//初期化時に呼ばれる
	public override void InitializeAgent()
	{
		// 参照
		this.rayPer = GetComponent<CarRayPerception> ();
		this.rigidbody = GetComponent<Rigidbody> ();

		// 変数
		this.initPosition = this.transform.position;
		this.initRotation = this.transform.rotation;
	}

	public override void AgentReset(){
		// 車の初期化
		this.transform.position = this.initPosition;
		this.transform.rotation = this.initRotation;
		rigidbody.velocity = new Vector3 (0, 0, 0);
		rigidbody.angularVelocity = new Vector3 (0, 0, 0);
		this.crush = false;
	}

	//Stateの取得
	public override void CollectObservations(){
		float rayDistance = 50.0f;
		float[] rayAngles = { 0f, 45f, 90f, 135f, 180f, 110f, 70f };
		string[] detectableObjects;
		detectableObjects = new string[] { "car", "wall" };
		AddVectorObs (rayPer.Perceive (rayDistance, rayAngles, detectableObjects, 1f, 0f));
	}

	// フレーム毎に呼ばれる
	public override void AgentAction(float[] vectorAction, string textAction){
		// アクション
		//float handle = Mathf.Clamp (vectorAction [0], -1.0f, 1.0f) * 1.5f; //教材のコードでは上手くいかなかった。
		float handle = Random.Range(-1.0f,1.0f)*3.0f;

		// 車の向きと加速度の指定
		this.gameObject.transform.Rotate (0, handle, 0);
		this.rigidbody.velocity = this.gameObject.transform.rotation * new Vector3 (0, 0, 20); //速度調整できる。

		// 報酬
		AddReward (0.001f);

		// エピソード完了
		if (this.crush)
			Done ();
	}

	// オブジェクト衝突時に呼ばれる
	void OnCollisionEnter(Collision collision){
		this.crush = true;
	}
}

Unityの画面

Hierarchy

学習環境内で独立して行動するAgent:jeep
学習環境を管理するAcademy:CarAcademy
Agentが観測した「状態」に応じて、Agentの「行動」を決定するBrain:CarBrain, PlayerBrain

Scene

上から見下ろすと8台のjeepが原点を中心に配置される。

CarAcademy(Academy)

CarAcademy.csを加える。

CarBrain(Brain)

Brain.csを加える。

jeep(Agent)

jeepを8台用意する。その内1台のjeepにCameraを加えて実行時の走行の様子を確認する。
また、CarAgent.csとRayPerception.csを加える。CarAgent.csは3つのパラメータを持ち、jeepがCarSpeedの速さでTimeOut秒ごとに最大でMaxAngle度向きを変える。

結果

100000回学習したもの

200000回学習したもの

300000回学習したもの

学習後、Terminalから下のコマンドを打ち込む。
$tensorboard --logdir=summaries

TensorBoard 1.7.0 at http://WINDOWS-1O4MM0L:6006 (Press CTRL+C to quit)が表示されたら、URL(http://WINDOWS-1O4MM0L:6006 )からTensorBoardに移動。
TensorBoardを開くと次のように学習状況のグラフが表示される。

マゼンタ:100000回, 深緑:200000回, シルバー:300000回学習した結果。

以下がそれぞれのグラフの説明。

Info/Lesson:レッスンの進捗状況(カリキュラム学習)
Info/cumulative_reward:平均累積報酬のグラフ(継続して増加し上下の振れ幅が小さいことが期待される。)
Info/entropy:Actionのランダムな動きの割合(継続的な減少が期待される。)
Info/episode_length:エピソードの平均長(今回は長いほうが良いので増加が期待される。)
Info/learning_rate:学習率のグラフ(時間とともに継続して減少する。)
Info/policy_loss:Actionの方策の変化の割合(学習成功時に減少し継続して減少することが期待される。)
Info/value_estimate:将来の報酬の予測(学習成功時に増加し継続して増加することが期待される。)
Info/value_loss:将来の報酬予測と実際の報酬の乖離(報酬は安定したら減少することが期待される。)

参考文献

Unityではじめる機械学習・強化学習 Unity ML-Agents実践ゲームプログラミング