強化学習４０ Colaboratory+Atari+chainerRL GPGPU小まとめ

中学生から大学生のAI初学者を対象にしています。

今回の結論は、PPOです。

　OpenAIのAtariを用いての強化学習（深層強化学習）では、PPOが一番です。
強化学習を行うときの入力データであるobservationで、画像出力を用いるのが流行りのようです。細かい設定無しで、ディスプレイに映し出される画面のデータです。
　これを用いると、手書き文字などの認識と同じような畳み込みニューラルネットワークの出番になります。すると、GPGPUを使うことになります。

　どこが面倒かというと、GPGPUの部分です。その中で、最強なのがPPOです。とにかく速い。ステップの処理も速いし、学習も速い。
Breakout２時間位（５５１９秒）で、こんな感じです。

steps   episodes  elapsed mean median stdev  max  min
2000000 16394     5519    36.8 33.5   18.41  61.0 2.0

同じstep数2000000を実行するならば、
PPO　　　　　　　５５１９秒（９２分）
DQN　　　　　　１９２００秒（３２０分）
DQN-batch　　　６９００秒（１１５分）
DRQN　　　　　　８９００秒（１４８分）
categorical　　１２８５５秒（２１４分）
となります。
９０分ルールがある以上は、PPOがいいのは一目瞭然です。

PPOはOpenAIのデフォルト手法になっているそうです。
こちらに詳しく書いてあります。
https://shiropen.com/2017/07/21/26889/

chokozainerrlに、aleシリーズは、それぞれ入れておきました。