前回のQiita記事に引き続き、今回もMinecraftで深層強化学習する記事を書きます。

目的

なぜ、改めて書き直すかというと、前回使用したMalmöに比べて、より取り扱いのしやすいMinecraft環境「MineRL」が開発されたからです。MineRLとChainerRLを使って簡単に深層強化学習を試してみましょう。

MineRLについて

MineRLは、Malmöを利用したMinecraftの強化学習環境で、Malmöに比べて同期・安定・高速化などが実現しています。特に、Malmöでは同期性能が低く毎stepごとに行動をできない場合がありましたが、MineRLではそこが改善しています。タスクとしては以下などが用意されています。

MineRLTreechop
- 64個の「原木 (log)」を集める
- 森で、 鉄の斧を持った状態からスタート
- log を入手するごとに +1 reward

MineRLNavigate
- 指定されたゴール地点へ向かう
- “compass” を観測可能；ゴール方向を指示してくれる
- ゴール到達で +100 reward
- “Dense” 版では更にゴールにとの距離に応じて毎ステップ報酬を貰える (遠ざかると負の報酬)

MineRLObtainDiamond
- ダイヤモンドを入手する
- 多くの中間アイテムが必要となる
- ダイヤモンド入手で +1024 reward
- 中間アイテム入手でも (小さめの) 報酬
- デフォルトではアイテムの1回目の入手時のみ報酬が貰える “Dense” 版では何度でも貰える

ベースライン実装

Requirements

git、makeをインストールしていること。
Dockerをインストールしていること。

動かし方

ハンズオンのためのコードをフォークしたレポジトリbaselinesで管理しています。

まずはcloneして、chainerrlのディレクトリに移動してください。

$ git clone https://github.com/keisuke-umezawa/baselines.git
$ cd baselines/general/chainerrl

次にDockerfileをビルドしましょう。Makefileに必要なコマンドが定義されているので、make buildとコマンドを打てば良いです。

$ make build

次に、実行してbashでログインしましょう。それもMakefileにコマンドが定義されているので、以下で大丈夫です。

$ make run
$ make bash

すると、環境設定されたDockerコンテナ内にbashでログインすることができます。
以下のコマンドで動かしたいスクリプトを動かすことができます。今回は試しに、dddqn.shを動かしてみましょう

# cd baselines
# APP="lxterminal -e 'bash -c /opt/baselines/dddqn.sh'" /usr/bin/graphical-app-launcher.py

実はこのコンテナ内には、VNCサーバーが動いており、ブラウザからlocalhost:6080にアクセスすると、コンテナ内のGUI環境にアクセスすることができます。

上記のコマンドを実行して10分程度待つと、以下のようにMinecraftの画面も出てくるはずです。

学習済みモデルを使った場合の動かし方

リンク先にそれぞれのタスクとモデルに対して、複数のモデルを用意しています。

例えば、Treechopをdddqnで解きたい場合は、リンク先https://github.com/keisuke-umezawa/baselines/releases/download/v0.0/dddqn1.zipのモデルを使用するといいでしょう。

$ wget https://github.com/keisuke-umezawa/baselines/releases/download/v0.0/dddqn1.zip
$ unzip dddqn1.zip

そうすると、8000000_finishのようなディレクトリができているはずです。

dddqn.shを以下に書き換え、上記と同じように動かしてみましょう。

python3 dqn_family.py \
  --gpu -1 --env MineRLTreechop-v0 --outdir results/MineRLTreechop-v0/dddqn \
  --final-exploration-frames 1000000 --final-epsilon 0.02 --arch dueling --replay-capacity 800000 --replay-start-size 1000 \
  --target-update-interval 1000 --update-interval 1 --agent DoubleDQN --monitor --lr 0.001 --gamma 0.99 --batch-accumulator mean \
  --always-keys attack --reverse-keys forward --exclude-keys back left right sneak sprint --load ./8000000_finish

Reference