A Probabilistic Framework for Deep Learning, NIPS2016
deep rendering mixture modelはlatent task nuisance variablesを用いる事で陽にデータのvariationを捉える事が可能な生成モデル
であり、これを用いてdeep learningモデルの確率的フレームワークを提案する。
これを用いたmax-sum operationによって畳み込みニューラルネットを導く事が可能になる。
この過程において、畳み込みネットの強みと弱み、またその改善方法に関する知見を得る事ができる。
DRMMはEMアルゴリズムで学習する事が可能で、back propagationの代替手法としてとらえる事ができる。
また学習時間は２，３倍高速化が可能で半教師、教師なし学習にも拡張可能である。
Stochastic Variational Deep Kernel Learning, NIPS2016
Deep kernel learningはkernel methodの持つノンパラメトリックな柔軟性とdeep learning手法に基づくinductive biasを組み合わせる事を可能にする．
本論では新たなdeep kernel learning modelを提案し，それに対するstochastic variational inference手法も提案する．
この手法によってdeep kernel learningによるclassification, multi-task learning, additive covariance structure, そしてstochastic gradient学習を可能にした．
ここでadditive covorianceは和を取る事が可能なGaussian processesのセットを指す．
具体的には，入力に対してdeep learningに基づく多層の特徴抽出を行い，
その特徴を潜在変数とした複数のbase kernelによるGaussian processを適用し，その出力を用いる．
これらはGaussian process marginal likelihoodと用いて同時に学習される．
学習では，kernelの局所内挿の能力を活かしたstochastic variational inferenceを提案する．
Ladder Variational Autoencoders, NIPS2016
教師なし学習においてvariational autoencoderは協力な手法である．
しかし，多層なモデルに対しては未だ学習は難しい．
本論では最近提案されたLadder Networkに似たモデルとして
Ladder Variational Autoencoderを提案する．
このモデルは，Ladder networkと似た形でrecursiveに生成分布を構成する．
結果，ladder構造を用いない場合と比較してより良いlog-likelihoodとよりタイトな
Log-likelihood lower boundを導く事が可能になる．