Direct Feedback Alignment Provides Learning in Deep Neural Networks, NIPS2016
従来のニューラルネットワークにおける学習では、feed forwardを全ネットワークにおいて行い、その後にbackpropagationを行った上で初めて重みの更新が行われる。
それに対して、最近提案されているfeedback-alignment手法では、誤差伝播を行う際に計算に用いられる重み情報は、必ずしもforward計算に用いられた重みとsymmetricである必要はない事を示した。
実際、ランダムな重みを用いた誤差伝播でも、ネットワーク自体がその活用法を学習していく事により、学習を行う事ができる。
このような特性を利用し、本論で提案するモデルでは、より各隠れ層を独立に学習できる機構を提案する。
誤差伝搬はあるランダム重みに関して出力層から各隠れ層へ直接伝搬する。
この機構により、誤差伝播に頼らなくとも、訓練誤差を０にする事も可能である。
実験による比較で誤差伝播に基づく手法と同等の性能を出す事が出来た。
K-means Recovers ICA Filters when Independent Components are Sparse, ICML2014
教師なし学習において、最近の研究では線形判別器を様々な教師なし特徴学習手法に適応して比較したところ、whiteningを行った後にkmeansを適用する手法が最も良い性能を獲得した。
本論ではその理由について解析した。
特にkmeansはICAと関係があり、kmeansや似た手法は、ICAにおける混合行列、あるいはその逆行列、を復元している事が分かった。
ICAで得られる独立因子は分類のために有効である事は知られており、すなわちkmeansも同様に得られた特徴が判別タスクに有用であるという事になる。
さらにwhiteningの重要性についても本論では強調する。
Why does deep and cheap learning work so well?
本論ではdeep learningの成功が、数学的側面だけではなく、物理的側面にも大きく寄与される事を示す。
数学的にはneural netは任意の関数を近似できる事が示されているが、ある特定の関するを近似する事を考えた場合には、指数的に少ないパラメータ数でそれが可能である事が物理的に知られている。
これは物理法則で現れる、symmetry、locality、compositionalityやlog-probabilityの特性の上に成り立つもので、本論ではこれら特性がいかにしてシンプルなneural net構造を構築する事に寄与するかを明らかにした。
また統計モデルによるデータ生成において、そのモデル構造が階層的でありさらに物理や機械学習分野で示される特定構造に関連している場合には、そうでないshallowな構造と比較してさらに効率的な構造にする事ができる。
またこうした階層ネットワークはshallowなネットワークにより精度良く近似出来ない事を示す。