LoginSignup
7

More than 5 years have passed since last update.

Open AI GymでA3Cのコードを走らせてみる

Last updated at Posted at 2016-09-08

過去7回で、Ubuntu14.04、CUDA、chainer、dqn、LIS、Tensorflow、Open AI Gymを順次インストールし、最後にOpen AI Gymのサンプルコードをいじりながら仕組みを学んだ。
http://qiita.com/masataka46/items/747fc12125958059b306

今回はOpen AI Gym上で第3者が作ったサンプルを走らせてみる。具体的にはこちらの方
https://github.com/coreylynch/async-rl
が作ったA3Cのサンプルコードを走らせてみる。
ちなみにA3Cのliteratureはこちら。
http://arxiv.org/pdf/1602.01783v1.pdf

Requirementsを確認

Requirementsとして、TensorFlow、Gym、Gym's Atari environment、skimage、Kerasをあげている。足りないのはskimageとKerasなので、この両者をインストールする。

skimageをインストール

まずskimageといのがわからん。初めて聞いた。画像関係っぽいが。ネットで調べるとこのサイト
http://nonbiri-tereka.hatenablog.com/entry/2014/11/27/102156
を見つけた。どうやらscikit-imageという画像処理系のライブラリだそう。OpenCVみたいなものか。このサイトに従ってインストールする。まずは

sudo pip install scikit-image

skimageのインストールは終了。

Kerasをインストールする

次にKerasをインストールする。このサイト
http://ket-30.hatenablog.com/entry/keras/mnist
を見ると、pipで簡単にインストールできそうだ。

sudo pip install keras
・・・
Successfully installed keras-1.0.8 pyyaml-3.12 theano-0.8.2

theanoも同時にインストールされたようだ。

A3Cのコードをcloneする

適当なディレクトリを作って、そこにcloneする。

git clone https://github.com/coreylynch/async-rl.git

A3Cを走らせる

製作者の指示に従って走らせてみる。

python async_dqn.py --experiment breakout --game "Breakout-v0" --num_concurrent 8

すると、breakoutの画面が8つ表示され、うにょうにょと学習が始まった。CPUで走らせてるのか何なのか、chainer使った時のDQNより遅いね。

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
7