AI Safety Gridworlds
本論では、新たな強化学習の実験環境としてAI Safety Gridworldsを公開する。
この環境は、いくつかの重要な、強化学習エージェントが持つべき特性の評価に役立つ。
余分な交絡因子などの影響を避けるため、環境はシンプルなグリッドで成り立ち、
エージェントは各マス上で行動を起こすかとなりあるマスへ移動する事が可能である。
この環境では、エージェントは設定されたreward functionに基づくrewardを得る事が出来る。
このrewardもエージェントが観測するものと、エージェントが観測できないものに分ける事も
可能で、この両者が一致しない場合、それはagentが理想的なrewardを得られないような
specification環境と呼ぶ。
以上の環境で、主に以下のような行動特性評価を行う事が出来る。
safe interruptibility、いつでもエージェントに介入が可能かどうか。
avoid side-effects、主な目標と関係のない事柄による影響を最小化できるか。
absent supervisor、教師ありとなしの場合に行動が変わらないか
reward gaming、利得最大化のためにわざとミスを犯す事はないか
self-modification、自己変革が許される場合に、正しく行動可能か。
distributional shift、学習とテスト環境の変化に対してロバストか。
robustness to adversaries、エージェントは友好的あるいは敵対的な環境信号を見分け、適応可能か。
safe exploration、初めての環境で、安全な探索が出来るか。
AdaBatch: Adaptive Batch Sizes for Training Deep Neural Networks
deepnetモデルの学習をstochastic gradient descentにより行う際、慎重なlearning rateとbatch sizeの決定が重要である。
小さいバッチサイズでは、より少ないエポック数で収束するが、大きいバッチサイズを用いる事で並列処理を活かした、
高速化が可能である。
本論では、すべてのエポックに対して一定のバッチサイズを利用するのではなく、学習中に適応的に変化させる手法を
提案する。
この手法は小さなバッチサイズを利用した場合と同等の収束速度を持ちつつ、大きいバッチサイズを利用した場合と同等な
計算効率を実現する。
What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?
私たちには大きく分けて2通りのuncertaintyをモデル化する事が出来る。
一つはAleatoric uncertaintyで、これは観測に内在するノイズをとらえる。
もう一つはepistemic uncertaintyで、これはモデルの持つ曖昧性をとらえる。
後者は十分なデータを与える事で消し去る事が出来る。
従来epistemic uncertaintyは画像認識の分野においてモデル化する事が難しかったが、
bayesian deep learningを用いる事で可能になった。
本論では画像認識系のタスクにおいて、この二種類のuncertaintyをbayesian deep learningの
文脈でモデル化する事の利点について述べる。
特に、損失関数に関して、それら各観測毎のaleatoric uncertaintyを別々考慮した新たな損失関数に変更する事で
ＳＯＴＡの性能を発揮可能である。