Google製の強化学習フレームワークDopamineを使ってみる

TL; DR

Dopamineを使ってちょっと遊びます。
まだ触り始めで、分からないことは多いです。

インストール方法

macのインストール方法はこちらです。(公式より)

$ brew install cmake zlib
$ pip install absl-py atari-py gin-config gym opencv-python tensorflow
$ pip install dopamine-rl
$ pip install atari-py

ここで一点注意があってpython3.7では問題があったようです。
実際、[2018/08/30, 09:09]時点では以下のようなエラーが出ました。

No matching distribution found for tensorflow

setup.pyの中にも書いてました。

        'Programming Language :: Python :: 2',
        'Programming Language :: Python :: 2.7',
        'Programming Language :: Python :: 3',
        'Programming Language :: Python :: 3.4',
        'Programming Language :: Python :: 3.5',
        'Programming Language :: Python :: 3.6',

と言うことで、サクッとpython3.6.6に戻してインストールし直します。
そして、これを実行して動けば、ひとまずインストールは成功していそうです。

$ python tests/atari_init_test.py

Atari2600を強化学習で解くためには

python -um dopamine.atari.train \
  --agent_name=dqn \
  --base_dir=/tmp/dopamine \
  --gin_files='dopamine/agents/dqn/configs/dqn.gin'

とする様です。

これだけ見ると、エージェントとconfigを読ませればAtariが解けるんだろうとは
予想がつくわけですが、自分が解きたい問題に適応するにはどうすれば良いのか不明瞭です。

dopamine.atari.trainの中を見る限り、ある程度自分で実装する必要がありそうです。
tensorflowでDeep Learningをするときも、実際いろいろと書いていたので、
まぁそう言うものなのかもしれません。
DQNの実装を自分でしなくて良い分、楽にはなっているはずです。
tensorflowの時と同じ感覚で使うことを、Googleが想定しているなら、
tensorboardみたいな可視化ツールもある気がします。

実際に試す手順としては、atariやcommonのコードを見ながら、データ整形とかの部分を実装して
dopamine/agents/dqn/configs/dqn.ginなどを見ながらconfigを設定して実行という流れになるんでしょうか。

ちゃんと試したら、また書きます。
またちょっと書きました

TO DO

• チュートリアルの実装を追いかける
• api_docs/pythonをちゃんと読む
• ブラックジャックでも何でも良いから実装して見る
• 可視化ツールを試す(baselines/plots.htmlかな？facetsでも良いのか)