Online Learning of Eigenvectors, ICML2015
主要な固有値をオンライン学習において求める問題を考える。
この問題では、毎ステップにおいて行列が観測される毎にある単位ベクトルを予測し、それが今まで観測された行列累積値に対する固有値に近づくようにする事を目的とする。
これはオンラインPCAに似ている。
この設定はRegretの枠組みで損失を設定でき、最適値は固有値になる。
従来のRegretバウンドは、毎ステップ固有値問題を解く必要がある、または次元に大きく依存する、の問題があった。
本論では、これら２つの問題を回避出来る手法を提案する。
提案手法はFollow the perturbed leaderアルゴリズムを元にしている。
このアルゴリズムの利用により、従来手法より次元への依存性が低減される。
またデータのスパース性の利用も可能にした。
Faster Rates for the Frank-Wolfe Method over Strongly-Convex Sets, arXiv
Frank Wolfe methodは従来の1次最適化手法と比較して、計算的なボトルネックであった写像計算を必要せず線形最適化で置き換えれるため注目されていた。
しかし収束速度が課題であった（1/tオーダー）。
本論では、強凸関数を対象とする場合においては、収束オーダーは1/t^2になる事を示した。
ちなみにFrank Wolfe methodはドメイン制約ありの凸最適化手法で、各ステップでは、現在値周りで1次近似した目的関数をドメイン制約の元最適化していく。
この時他の手法と違い、値更新後にドメイン領域への写像を要求しないため、計算量的に優位性がある。
MADE: Masked Autoencoder for Distribution Estimation, ICML2015
自己回帰モデルに基づくautoencoderモデルを提案する
このモデルでは、ある順番に基づいて、入力次元を選択していき、各次元はそれまでに選択された次元の変数に対する条件付き確率で表される。
この表現でデータの生成分布が表現出来る事を自己回帰特性と呼ぶ
また複数の異なった順番で入力次元を選択するNNを学習する事も可能である。