初めに
今回は弊社AIQVE ONE社が出しているPlayable!の汎用エージェントを試してみた感想を書いていきたいと思います。
今回は公式に配布されているAlfortの試験用データを用いて行いました。
汎用エージェントを触ってみる
各ウィンドウの説明
ウィンドウ全体
- Playable General Agent（汎用エージェント）の実行時の全ウィンドウです。
※この他に汎用エージェントの実行コマンドを入力したターミナルも表示されている状態です。
メインウィンドウ（ゲーム画面）
- 実際に動くゲーム画面が表示されます。
チャットボットウィンドウ
- ここで命令文を入力した内容がLLMに解釈されタスクとして発行されます。
LLMで解釈できなかった場合も一部定型文が返答として返されます。
タスクウィンドウ
- 現在実行中のタスクと実行待ちのタスクがFIFO表示されます
マップウィンドウ
- マップを表示するウィンドウであるとともに
プレイヤーの位置、敵の位置、マップの切り替え箇所、Astarを使用した経路探索時の予定経路の表示等が行われます。
ビヘイビアツリーウィンドウ
- 現在のタスクを実行中のビヘイビアツリーが表示されます。
リアルタイムでビヘイビアツリー内での実行状態が表示されます。
使ってみる
やはり固有名称(ランドマーク)への移動は安定して動作してくれそうです。
試しにランドマークである霊廟まで移動するように「霊廟に移動してみて」と入力してみたところ霊廟まで移動することに成功しています。
固有名称(ランドマーク)への移動は安定して動作します。
その後、試しに「霊廟に移動しながら、敵がいたら敵を倒して」と入力してみましたがこちらは「霊廟に移動する」というタスクと「敵を倒す」というタスクに分割され失敗しました。現状は単一的なタスクの対応に留まり、複合的なタスクは単一のタスクに分割し解釈するためです。こちらは今後の文脈解釈の向上で対応できるものと考えます。
また、「周りの敵を全部倒して」と入力してみたところ、「敵を倒す」タスクに認識されてしまい敵を１体倒したところでタスクが終了してしまいました。
「～を全て～してください」のような指示も現在は対応されておりません。
こちらも前述のように今後の文脈解釈の精度向上により対応できるものと考えます。
次に、「NPCと会話してみて」と入力してみたところ、目の前のNPCと会話をすることに成功しました。
そのためゲーム内NPCの認識も問題なくできていそうです。
今回の例ではNPCには選択箇所の選択が存在しないため再現ができませんが、今後の対応次第では会話内での選択箇所がある場合も対応できるものと考えます。
最後に、宝箱のアイテムを回収できるか試すために「宝箱のアイテムを回収して」と入力したところ「アイテムを回収」というタスクに解釈され
結果としては成功しましたが、同じエリア内以外の場合失敗しました。
今回の場合はアイテムを回収というタスクが他のマップを参照しないことが起因するものなので、こちらも文脈解釈の精度向上で「マップ全体の」などの指示を解釈できるようになれば対応できるものと考えます。
成功例
失敗例
最後に
検証結果のうち3回成功、2回失敗(想定外)という結果に落ち着きました。チャットボットがLLMに頼っている以上LLMの学習度合いによって精度が変わるため、詳細なゲームコンテキストの事前学習（プロンプトの投入）等、利用する際の調整次第ではより良い結果を導き出せそうです。また今後の課題として、現在は複数のタスクが混ざった複合的なタスクをこなしたり、座標が不定なオブジェクトを探索するタスクが現状課題があり、より自然な指示に対応できるよう、アップデートに努めてまいります。