Open AI Gymのモデルをいくつか試してみる

環境：
CPU:Corei7 6700K
GPU:GTX1070
SSD:240GB
HDD:1TB
マザーボード:ASUS H170-pro
OS:Ubuntu14.04 LTS
python:2.7.6
CUDA:8.0 RC
cuDNN:5.1
TensorFlow:0.10.0
など

過去５回で、Ubuntu14.04、CUDA、chainer、dqn、LIS、Tensorflow、Open AI Gymを順次インストールした。
http://qiita.com/masataka46/items/94417a5974dba810e7b8
http://qiita.com/masataka46/items/fddef236cb211ef3f145
http://qiita.com/masataka46/items/125c7900ec8ca83f6eb2
http://qiita.com/masataka46/items/12fb01f3417bd0791703
http://qiita.com/masataka46/items/f64ce9c110113ab8e517

ただし、Unityがうまく立ち上がらないため、最後のLIS環境構築は完了していない。
またOpen AI Gymはインストールしたものの、一部のサンプルでエラーが生じている。

今回はOpen AI Gymのモデルをいくつか試してみる。前回と同様、公式HP
https://gym.openai.com/docs
に従って進める。

##はじめのテストサンプルをいじってみる
HPで「Running on Environment」項目で書かれているサンプルを若干いじってみる。具体的には以下。

import gym
env = gym.make('MountainCar-v0')
env.reset()
for _ in range(5000):
    env.render()
    env.step(env.action_space.sample()) # take a random action

もともとのサンプルのeinvironmentを'MountainCar-v0'に、rangeを5000に変えてみた。車が頑張って山を登ってる。ゴールまではたどり着かなかったが・・・

次にenvironmentを'MsPacman-v0'に変えてみた。予想通り以下のエラーが表示された。

raise error.DependencyNotInstalled("{}. (HINT: you can install Atari dependencies by running 'pip install gym[atari]'.)".format(e))
gym.error.DependencyNotInstalled: No module named atari_py. (HINT: you can install Atari dependencies by running 'pip install gym[atari]'.)

##dependenciesをインストールする
そこで、言われた通りpipでAtari dependenciesインストールしてみる。

sudo pip install gym[atari]

として再度'MsPacman-v0'を試したところ、稼働した。

次に'Hopper-v1'を試したところ、以下のエラーが表示された。

gym.error.DependencyNotInstalled: No module named mujoco_py. (HINT: you need to install mujoco_py, and also perform the setup instructions here: https://github.com/openai/mujoco-py/.)

ここにはopenai/mujoco-pyをインストールしろ、と書いているが、openai/gym/envsの中にもmujocoがある。どちらなのだろうか？とりあえずatariと同様の手法を試してみる。

sudo pip install gym[mujoco]

としてインストールした後に'Hopper-v1'を試したところ、以下のようなエラーが表示された。

//github.com/openai/mujoco-py for where to obtain these.')

mujoco_py.error.MujocoDependencyError: To use MuJoCo, you need to either populate ~/.mujoco/mjkey.txt and ~/.mujco/mjpro131, or set the MUJOCO_PY_MJKEY_PATH and MUJOCO_PY_MJPRO_PATH environment variables appropriately. Follow the instructions on https://github.com/openai/mujoco-py for where to obtain these.

やはりopenai/mujoco-pyからインストール必要があるのだろうか。

とりあえず、こんな感じで必要なパッケージをインストールしていったらいいわけだ。