Professor Forcing: A New Algorithm for Training Recurrent Networks, NIPS2016
Teacher forcing algorithmでは、RNNにおいて観測シーケンスを用いて学習を行い、テスト時には1つ前の入力に基づいた予測値を入力として用いたmulti-step samplingを利用する手法である。
本論ではこれを発展させたProffesor forcing algorithmを提案する。
この手法ではadversarial domain adaptationを応用し、観測シーケンスを用いた場合とmulti-step samplingを用いた場合のRNNのダイナミクスが一致するように学習を行う事とする。
この手法は正則化として効果がある。
またテスト時に生成されるデータの現実性も改善される。
IMPROVING STOCHASTIC GRADIENT DESCENT WITH FEEDBACK
目的関数からのフィードバックを利用したstochastic gradient descentの改善手法を提案する
この手法は目的関数の相対的な変化を追い、それに基づいて学習率を動的に変化させる。
このアイデアに基いて従来のadam最適化を拡張する。
Understanding Deep Neural Networks with Rectied Linear Units
ReLUに基づいたdeep netで表される関数について研究する。
本論では全体最適解に収束可能な多項式時間のアルゴリズムを提案する。
これは、関数が連続な区分線形関数により表される場合において成り立つ。
この証明のために区分線形な幾何を扱うtropical geometryの結果を用いる事ができる。
これによれば、区分線形関数は一層のdeep netで表現可能で、そのサイズに関するboundも導出可能である。
一方でsmoothにparameterizeされた関数を表すには指数関数的なサイズ増加が必要である事もわかった。