The Power of Depth for Feedforward Neural Networks, arXiv
NNの層数を増やす事は、層の幅を増やす事に比べて指数的により表現力が増大する事を示した。
この事は基本的にすべての活性化関数に対して言う事が出来る。
この事の証明は、従来のブール関数に基づく手法に比べて過程が少なく、異なった手法を用いている。
NEURAL PROGRAMMER-INTERPRETERS, ICLR 2016
プログラムを学習し表現および理解できる組み合わせ可能なモデル構造を開発した。
コアモジュールはプログラムを表現するLSTMベースの学習可能なモジュールであり、入力として前回実行されたプログラム情報と環境情報の特徴表現を使う。
これにより次に実行するプログラム、プログラム終了判定フラグを出力する。
またプログラムの表現モデルに関するkey valueを記憶する構造を含んでおり、プログラム再利用も可能にした。
Deep Successor Reinforcement Learning, arXiv
successor representation(SR)に基づくdeep RL手法を提案する。
SRはある状態におけるvalue functionを、状態に対する利得予測関数とsuccessor mapと呼ばれる現在の状態から見て将来ある状態にどれくらいの頻度で遷移するかの期待値関数の２因子へ分解する。
value functionはこれらに関する内積で示される。
Deep SRを学習する事で終盤の急激な利得変化を感度良く学習でき、またsubgoalのようなbottleneck状態を抽出しやすくなる。
Improved Techniques for Training GANs, arXiv
GANの学習は非凸かつ連続で高次元なゲームのナッシュ均衡を求める事を要求する。
従来手法はコスト関数の最小化を行うが、これにもとづいてナッシュ均衡を探そうとすると収束しない。
本論では、非収束問題に関するヒューリスティックを利用し、このゲームの収束を推進するいくつかの技術を提案する。
この手法のりようで半教師あり学習と、サンプル生成双方の性能を改善可能である。
What Learning Systems do Intelligent Agents Need? Complementary Learning Systems Theory Updated, Trends in Cognitive Sciences 2016
哺乳類の新皮質と海馬の働きに基づくと、知的なエージェントは２つの学習システムを保持していなければならない。
１つ目は、徐々に構造的な知識表現を獲得するシステムである。
２つ目は、個々の経験の詳細について即座に学習するシステムである。
海馬記憶の再生により目的に基づいた経験の重み付けが行われる。
また海馬の繰り返し活性化により知識の一般化をサポートし、新皮質における学習が既知の構造の近いほど高速化される。
このような構造はDQNにおけるexperience replayと関係がある。
また最近の外部メモリを利用したNN構造とも関係が深い