Bayesian Manifold Learning: The Locally Linear Latent Variable Model, NIPS2015
多様体座標系と局所線形写像が、近傍点間の相関で条件付けされるような非線形多様体学習のための確率モデルとして、locally linear latent variable model(LLLVM)を提案する。
本モデルは、与えられたデータに対して、潜在変数で条件つけされた観測確率分布の事後分布を直接変分最適化する事を可能にする。
また本モデルは従来の決定的な多様体学習モデルであるlocally linear embdeddingのように局所的な幾何構造を保存するようなモデル化を行っている。
本モデルは確率モデルであるため、近傍点間の関係の柔軟な評価、潜在的次元数の選択、out-of-sample拡張、多様体構造を反映した新たな確率モデルの追加、などが可能になる。
Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting, NIPS2015
短期間の降水量履歴から将来の降水量を予測する問題を考える。
本論ではこれを時空間モデルとして捉え、入力、予測データともに時空間シーケンスを持つとする。
従来手法であるfully connectedなLSTMに対し畳み込み構造を入力対状態、前状態対後状態、において持つようにしたconvolutional LSTMを提案する。
従来手法に比べ予測性能が向上した事を実験で確認した。
Learning with Symmetric Label Noise: The Importance of Being Unhinged, NIPS2015
Convex potential minimizationは２値分類問題において標準的に用いられる手法である。
Convex potentialは予測値と真値の内積を用いて損失関数を定義するもので、凸、非増加、微分可能な関数である。
しかしながら、symmetric label noise(SLN)がある場合、学習モデルの予測性能はランダム予測と変わらないものとなってしまう事が証明されている。
この結果はconvex potentialがSLNに対してロバストではない事を示しているようにみえる。
しかし本論で、適切なキャリブレーションを行った損失関数を用いる事でSLNにロバストな損失関数を得る事が可能である事を示した。
提案した損失はヒンジロスと修正して０でヒンジがかからないものであり、つまりnegatively unboundedである。
この損失による最適値は、強い正則化が課されたSVMと同様のものとなり、また二階微分可能なconvex potentialに対する結果となる。
これはL2正則化を用いる事でほとんどのSLNが存在する場合の学習においてロバストな学習が実現できるという事である。