過去７回で、Ubuntu14.04、CUDA、chainer、dqn、LIS、Tensorflow、Open AI Gymを順次インストールし、最後にOpen AI Gymのサンプルコードをいじりながら仕組みを学んだ。
http://qiita.com/masataka46/items/747fc12125958059b306
今回はOpen AI Gym上で第３者が作ったサンプルを走らせてみる。具体的にはこちらの方
https://github.com/coreylynch/async-rl
が作ったA3Cのサンプルコードを走らせてみる。
ちなみにA3Cのliteratureはこちら。
http://arxiv.org/pdf/1602.01783v1.pdf
##Requirementsを確認
Requirementsとして、TensorFlow、Gym、Gym's Atari environment、skimage、Kerasをあげている。足りないのはskimageとKerasなので、この両者をインストールする。
##skimageをインストール
まずskimageといのがわからん。初めて聞いた。画像関係っぽいが。ネットで調べるとこのサイト
http://nonbiri-tereka.hatenablog.com/entry/2014/11/27/102156
を見つけた。どうやらscikit-imageという画像処理系のライブラリだそう。OpenCVみたいなものか。このサイトに従ってインストールする。まずは
sudo pip install scikit-image
skimageのインストールは終了。
##Kerasをインストールする
次にKerasをインストールする。このサイト
http://ket-30.hatenablog.com/entry/keras/mnist
を見ると、pipで簡単にインストールできそうだ。
sudo pip install keras
・・・
Successfully installed keras-1.0.8 pyyaml-3.12 theano-0.8.2
theanoも同時にインストールされたようだ。
##A3Cのコードをcloneする
適当なディレクトリを作って、そこにcloneする。
git clone https://github.com/coreylynch/async-rl.git
##A3Cを走らせる
製作者の指示に従って走らせてみる。
python async_dqn.py --experiment breakout --game "Breakout-v0" --num_concurrent 8
すると、breakoutの画面が８つ表示され、うにょうにょと学習が始まった。CPUで走らせてるのか何なのか、chainer使った時のDQNより遅いね。