はじめに
今回はkeras-rlとOpenAI Gymで強化学習を試します。今回は数年前にdeepmindのvideoでも紹介されていた breakout です。
参考にしたコードなど
breakoutサンプルについては、下記のgithubを参考にさせていただきました。
https://github.com/openai/gym
https://github.com/matthiasplappert/keras-rl/blob/master/examples/dqn_atari.py
breakout サンプル
はまったところは一点だけ。cmakeが入っていないと gym[atari] のインストールでエラーになる。cmakeが必要なことは、githubのREADMEにはしっかり書いてあり、私が読んでなかっただけです。
また、jupyter-notebookで動かすため、引数周りのコードを変更しました。書き換えたコードは下記に置きました。
https://github.com/kznx/kznxtest/blob/master/atari_01.py
トレーニング結果
デフォルトの1750000step完了には、13時間ほどかかりました。本格的な強化学習にはGPUは必須な様です。
#keras-rl と #opengym で強化学習。1750000 step 完了すると、ほとんどミスしないレベル。 wwww reinforcement learning by opengym, breakout sample (1750k steps) https://t.co/mLDaEwFZNk via @YouTube
— Kazutoshi Nakano (@kznx) February 10, 2018
最後に
breakoutサンプルを試してみました。もう少しstepを増やせばdeepmindが公開していたvideoぐらい上手くなるかもしれません。