概要

Atari Breakoutを用いて、PPOを実装しようとしたところ、かなり躓いたためメモっておきます。

エラー文

Environment `BreakoutNoFrameskip` doesn't exist.

Breakoutがないよと言われてしまう。

import ale_py
gym.register_envs(ale_py)  # unnecessary but helpful for IDEs

ale_pyをimportする。aly_pyがない時はpip installする。
gym.register_envsはなくてもいいが、コード補完をしてくれるようになるそう。

これで、今まで通り

env = gym.make('ALE/Breakout-v5', render_mode="human")

というようにgymで環境を作ればよい。
詳しくはこちらを見てください。
https://github.com/Farama-Foundation/Arcade-Learning-Environment