IMPORTANCE WEIGHTED AUTOENCODERS, ICLR2016
variational autoencoder(VAE)はデータの事後確率分布に関して、因子化可能である事を要求するため、近似精度に限界がある。
そのため得られる事後分布サンプリングの分布も簡単なものに制限され、モデルの表現力を出しきれない。
実際はサンプル全体の20％程度を高い確率の領域にサンプルしておけば精度の良い推論は十分可能であり、他のサンプルをもっと別の確率の低い領域にサンプルさせても問題ない。
この考え方に基づき、本論で提案する手法は重点サンプリングを用いる事で、VAEよりもより柔軟な推論モデルを獲得可能にした。実際これにより、よりタイトな変分下界を用いた最適化が可能である。
この手法は複数回事後分布よりサンプリングを行い重み付け和を用いる事で予測を行い、これはサンプル数が多ければ真の変分下界へ近づく。
Stacked Approximated Regression Machine: A Simple Deep Learning Approach, NIPS2016
非負スパースコーディングと畳込みスパースコーディングに基づく、多層な正則化回帰モデルを提案する。
このモデルは自然な形で一般的なDL構造と一致する。
提案モデルはスパース制約を取り入れる事で各層における非線形変換を実現している。
パラメータ最適化はPCAまたはKSVDを用いて簡単に推定可能で、少ない計算コストでstate-of-the-artのDLモデルと同等性能を実現出来る。
Beyond LDA: A Unified Framework for Learning Latent Normalized Infinitely Divisible TopicModels through Spectral Methods, ArXiv
LDAを一般化した、トピック間の相関を扱えるモデルを提案する。
これは正規化された任意数のi.i.d.な確率変数の和を表すnormalized infinitely divisible(NID)分布モデルを用いる事で実現される。
学習は効率的かつ理論的に扱いやすいspectral methodを用い、3次モーメントまでの情報のみで十分学習可能である事を示した。
Generalized Multi-view Embedding for Visual Recognition and Cross-modal Retrieval, ArXiv
rayleigh商に基づく、より一般化されたmultiview embeding手法を提案する。
従来手法は、１．two-viewかmulti-viewか２．教師なしか教師ありか３．線形か非線形かで別れた。
本論ではそれらを包括できるより一般的な手法を、一般化固有値問題で解ける形で提案する。
この手法はカーネル法、DNNの双方で非線形拡張する。
Density estimation using Real NVP, ArXiv
全単射写像のクラスを用いる事で、複雑な非線形分布をtractableでかつexactな評価や推論が可能な分布への変換を可能にした。
このモデルを用いる事で複雑なデータ分布に対する高精度な教師なし学習が可能になる。
また、モデルは従来のL2誤差コストに強く依存した学習が起こりにくく、加えて最近の手法であるbatch normalizationやresidual netも適用可能である。