概要

pybullet_gymのごく簡単な動作確認を行う
pybullet_gymは強化学習分野で使用されるライブラリ
ただし、強化学習は使わない
あくまでもライブラリを試すだけ
2つの題材で動作確認する
1回動いただけだと、たまたま動いただけのような感じがして不安なので
動画イメージを生成する
実行結果として文字や数字だけ表示されてもよくわからないので
しめて15分くらいで終わる

Environment

Gooogle Colaboratory

参考記事

以下2つの記事を見ながらこの記事を作成しています。
ただし、いずれの記事も2年以上経過しているせいか、2021/03/20現在時点では、その通りに書いても動作しないところもありました。

Reinforcement Learning on google colab
トロッコのソースコードはここにある
https://github.com/ajit2704/Reinforcement-Learning-on-google-colab
その他にもサンプルがいくつかあるので試してみてもいいかも
ColaboratoryでOpenAI gym

成果物

Google Colaboratory上でこんな動作を確認することができます\(^-^)/

ソースコード

1. 必要なライブラリのインストール

参考にした記事だと、この時点で動きませんでした...
（おそらくですが、この記事も、月日が流れたらすぐに動かなくなるのではないかと思います。）

!apt-get install -y python-numpy python-dev cmake zlib1g-dev libjpeg-dev xorg-dev python-opengl libboost-all-dev libsdl2-dev swig
!apt install xvfb

!pip install pyvirtualdisplay
!pip install piglet

2. 描画などの事前準備

今回、2つの題材でpybullet_gymを試しますが、この「2.」のコードはどちらの題材でも共通して必要なコードになります。

# 各種モジュールのインポートと、画像・動画を生成するための準備
import gym
from gym import wrappers
from IPython import display
import matplotlib.pyplot as plt
%matplotlib inline

from pyvirtualdisplay import Display
_display = Display(visible=0, size=(1024, 768))
_display.start()

3. 動作確認

3-1. CartPole

次のコードは参考記事をほぼそのまま利用させていただきました...
ただ、参考記事よりは早く描画されるように改良しています。

# ただランダムに動かしてみる

env = gym.make('CartPole-v0')
# 動画をmp4ファイルにしたい場合は次の行をコメントイン(※)
# env = wrappers.Monitor(env, './', force=True)

# INFO: matplotによる画像描画の下準備
#   この辺を使うと参考記事よりも早く描画されるようになった
fig = plt.figure()
ax = fig.add_subplot(111)
fig.show()

for n_episode in range(3):
    observation = env.reset()
    for t in range(100):
        # INFO: ここで描画処理を行っている
        ax.clear()  # これも追加した。一度clearした方が早く描画できる模様。
        ax.imshow(env.render(mode='rgb_array'))
        display.clear_output(wait=True)
        display.display(plt.gcf())

        # アクションはランダムに決めている
        action = env.action_space.sample()
        observation, reward, done, info = env.step(action)
        if done:
            print("Episode {} finished after {} timesteps".format(n_episode + 1, t + 1))
            break

3-2. MountainCar

初期状態の描画

次のコードは特に実行する必要はありません。
あくまでも、初期状態を見たい人用。

env = gym.make("MountainCar-v0")
obs0 = env.reset()
print("初期状態:", obs0)

plt.imshow(env.render('rgb_array'))
print("Observation space(状態空間):", env.observation_space)
print("Action space(行動空間):", env.action_space)

初期状態: [-0.48933046  0.        ]
Observation space(状態空間): Box(-1.2000000476837158, 0.6000000238418579, (2,), float32)
Action space(行動空間): Discrete(3)

動作確認

次のコードを実行すると、冒頭に示したようなトロッコがフラッグにたどり着く動画が生成されます。
policy()メソッドを改良するのが私たちのお仕事ですね。

## トロッコ山登り動画を生成する
# create env manually to set time limit. Please don't change this.
TIME_LIMIT = 250

env = wrappers.TimeLimit(gym.make("MountainCar-v0"), max_episode_steps=TIME_LIMIT + 1)
# 動画をmp4ファイルにしたい場合は次の行をコメントイン(※) しかしなぜかうまくかない
# env = wrappers.Monitor(env, './', force=True)

s = env.reset()
actions = {'left': 0, 'stop': 1, 'right': 2}

# matplotによる描画の事前準備
fig = plt.figure()
ax = fig.add_subplot(111)
fig.show()


def policy(time):
    if time > 50 and time < 100:
        return actions['left']
    else:
        return actions['right']


for t in range(TIME_LIMIT):
    # INFO: 開発する場合は、以下の行(poloicy()メソッド)を書き換えると動作が変わる
    state, reward, done, _ = env.step(policy(t))
    
    # INFO: ここで描画処理を行っている
    ax.clear()
    ax.imshow(env.render('rgb_array'))
    display.clear_output(wait=True)
    display.display(plt.gcf())

    if done:
        print("Well done!\(^-^)/")
        break
else:    
    print("Time over!")

4. 動画取得

CartPoleの方は、(※)マークのところをコメントインした状態で実行した後、さらに以下のコードを実行すると、MP4の動画を生成することができる。

MauntainCarにおける動画生成はなぜかうまくできなかった...何が悪いのかはわかっていない...。

from google.colab import files
import glob

for file in glob.glob("openaigym.video.*.mp4"):
    files.download(file)

関連記事

05.11a PyBullet～どのような仕組み？-2～
pybullet_gymに登場する用語の説明はここがわかりやすい感じがします。
Reinforcement Learning on google colab
今回取り上げた2つ以外のサンプルも掲載されています！
ただし英語。
OpenAI Gym
pybullet_gymの大元のGymのサイト（多分、公式サイト）
OpenAI Gym - Classic control
今回取り上げた以外にもこんなサンプルがありました。
MuJoCoを見ると、けっこう気持ち悪く感じられるかもしれません....