はじめに

この記事では、文化祭に展示していた、AIがプレイしているゲームのAIをどう作ったかを説明していきます

作ったもの

りんごと爆弾が上から落ちてくるシンプルなゲームを作成し、AIに「りんごを取る」「爆弾を避ける」行動を学習させました。

作品作成の流れ

以下の4つの手順でゲームを作成しました：

Unityで基本的なゲームを作成する
ML-Agentsをインストールしてセットアップする
AIが学習できる環境と設定を作る
深層強化学習を使ってAIをトレーニングする

各ステップの詳細を順に説明していきます。

1. Unityでゲームをつくる

本当に少しUnity(およびC#)の知識があれば簡単なゲームは作れます。

プログラム面では今回は、りんご・爆弾を管理するプログラム(FallController.cs)、プレイヤーを操作するプログラム(AgentController.cs)を作成しました。

FallController.csでは、落とすオブジェクトの種類(りんごか爆弾か)や、オブジェクトの位置(プレイヤーとの当たり判定で使う)などを管理し、プレイヤーと当たったかどうかを確認して、当たったら上から落とす関数などを作り、

AgentController.csでは、パソコンの矢印キーで動くようにし、りんごに触れたらポイントを増やし、爆弾に触れたら減らす関数などを作っています。

2. ML-AGentsをインストール

ML-Agentsは、UnityでAIをトレーニングしたり、ゲーム内で動作させたりするためのフレームワークです。これを使用することで、深層強化学習を手軽に導入できます。

現在公開されているのは、「ML-Agents-Release-22」というバージョンなのですが、僕は「ML-Agents-Release-20」を使いました(特に理由はありません)

3.0. 深層強化学習とは

深層強化学習では、AIが動いた動きがどれくらい良いか、どれくらい悪いかを評価していくことでAIの行動をどんどん改善させていく手法です。

まず最初に、AIに情報を与える設定をします。

次に、どんな時に報酬を与えるかの設定を考えます。

これで学習すると、この条件で高得点を取るようにAIが行動を改善していってくれます。

3. AIの設定と学習の準備

AIが学習できるように、ゲームのプログラムを少し変更する必要があります。

全部説明すると長いので、簡単に説明します。

2. AIに与える情報を設定

AIはゲーム環境の情報を元に行動を決定します。そのため、CollectObservations関数というものをつかってAIに与える情報の設定をしました。

与えた情報としては、今回の場合は、落ちてくるものをとった時のポイント、落ちてくるものの速さ、場所を設定しました。

public override void CollectObservations(VectorSensor sensor)
{
    sensor.AddObservation(Apple.transform.position.x); // りんごのx座標
    sensor.AddObservation(Bomb.transform.position.x);  // 爆弾のx座標
    sensor.AddObservation(transform.position.x);       // プレイヤーのx座標
}

↑プログラムイメージ

3. AIの行動を受け取る

AIが選んだ行動に応じて、プレイヤーを操作します。

AIは-1~1の値で行動を表してくるので、適切に動くようなプログラムをかきます。

今回はAIは右・左にだけ動くので値が大きいほど右に、小さいほど左に動かすようにしました。

public override void OnActionReceived(ActionBuffers actions)
{
    float moveX = actions.ContinuousActions[0]; // AIが選択した行動
    transform.Translate(moveX * Time.deltaTime * speed, 0, 0); // プレイヤーを移動
}

↑プログラムイメージ

4. 報酬の設定

AIに行動の良し悪しを教えるために、「報酬」の設定をします。

例えば、今回は、りんごを取ったら+1, 爆弾を取ったら-5, りんごを無視したら-0.1, 爆弾を取ったら+0.5という得点をAIに与えるようにしています。

if (hitApple)
{
    AddReward(1.0f); // りんごを取ったら +1
}
if (hitBomb)
{
    AddReward(-5.0f); // 爆弾を取ったら -5
}
if (missedApple)
{
    AddReward(-0.1f); // りんごを無視したら -0.1
}
if (avoidedBomb)
{
    AddReward(0.5f); // 爆弾を回避したら +0.5
}

↑プログラムイメージ

5. エピソードを終了する

ゲームが終了したとき、AIのプレイを強制的に終わらせてあげます

AIは、何千万回もプレイを繰り返す中で少しずつ上達していきます。この1プレイ（エピソード）の間に、どんな行動が良かったか、悪かったかを評価し、それを基に次のプレイで行動を改善していきます。

鬼ごっこなどは鬼に捕まったら終わりなのに対し、今回は明確な終わりが存在しません。なので、AIが~回行動を選択したら終わらせる、のような設定にしました。

if (gameOver)
{
    EndEpisode(); // ゲーム終了
}

↑プログラムイメージ

4. AIの学習

あとは先ほどのプログラムと、AIの学習方法(どれくらい複雑な学習をするのか、深層強化学習の中の種類、AIを何回に一回保存するか、AIに何回プレイさせるか)などの設定を作り、それをもとにコマンドで学習したら完成です！

おわりに

どうでしたか？ML-Agentsでは簡単にAIを使ったゲームが作れるような色々なものが用意されているため、相当簡単にゲームにAIを実装することができます！