中学生から大学生のAI初学者が対象です。
Atariのenvでどれを選択すればいいのだろうか？
それぞれの違いは、こちらに詳しく書かれています。
https://qiita.com/keisuke-nakata/items/141fc53f419b102d942c
これを見る限り、以下の順番でやってみると良さそうです。
１ Breakout-ramNoFrameskip-v4
２ BreakoutNoFrameskip-v4
３ それ以外。
それ以外が何のためにあるのか分かりませんが。
chokozainerRLは、chainerRLのexampleをコピーして、魔改造しています。
そのため、train_dqn_aleは、NoFrameskip限定の、
chainerrl.wrappers.atari_wrappers.make_atariを使います。
この強化学習シリーズもOpenAIのAtariを始めていますが、率直に大変です。
まず、画像処理を伴わないRamバージョンでの学習を試みていますが、10000 episodesくらいではダメですね。Ramバージョンで学習させている報告が少ないので、画像バージョンを基本に考えていきます。
画像ヴァージョンで、いろいろと紹介されている方法では、
4回分のstepを１つにまとめるようなwrapperを使っています。
例えば、ChainerRLでatariのゲームをDQNで解いてみよう
https://chainer-colab-notebook.readthedocs.io/ja/latest/notebook/hands_on/chainerrl/atari_sample.html
こちらのale.ALEは、default設定で4回になっています。
breakoutはラケットで跳ね返したボールが、壁に当たるまでにかなりのstepがかかるので、gamma=0.99でも、Q判定が難しくなります。なので、4回に1回にすれば、学習効率が上がりそうです。
chainerrl/wrappers/atari_wrappers
のMaxAndSkipEnvは、Ramバージョンでは使えないので、
下のように魔改造します。
class MaxAndSkipEnvRam(gym.Wrapper):
def __init__(self, env, skip=4):
"""Return only every `skip`-th frame"""
gym.Wrapper.__init__(self, env)
# most recent raw observations (for max pooling across time steps)
self._obs = None
self._skip = skip
def step(self, action):
"""Repeat action, sum reward, and max over last observations."""
total_reward = 0.0
done = None
for i in range(self._skip):
self.obs, reward, done, info = self.env.step(action)
total_reward += reward
if done or info.get('needs_reset', False):
break
return self.obs, total_reward, done, info
def reset(self, **kwargs):
return self.env.reset(**kwargs)
それでも学習は単純なDQNでは難航しそうなので、Ramバージョンはオススメできません。