Pointer Networks, NIPS2015
sequence-to-sequenceモデルなどは、出力の次元が予め決められたものしか適用が出来ないモデルである。
それに対し本論では入力の長さが変数であり、その長さに応じて出力のクラス数が変わるような場合における出力シーケンスの条件付き分布を学習可能な新たなネットワークを提案する。
組合せ最適化問題などはこのクラスに属する。
このようなモデルをneural attentionの考え方を応用して実現する。
従来のneural attentionではencoderから得られる隠れ層を用いてcontext vectorを出力していた。
本論で採用するneural attentionではを与えられた入力シーケンスに対し、出力はその入力の中でいずれかを選択(pointer)しそれを出力する。
これにより、出力の次元は、入力の次元に一致する事となり、可変となる。
Probabilistic Curve Learning: Coulomb Repulsion and the Electrostatic Gaussian Process, NIPS2015
データの低次元構造を学習する問題で、特に多様体学習を考える。
このような手法で生成確率モデルは少ない。
gaussian process latent variable model(GPLVM)はその１つだが、identifiabilityに問題がある。
本論では、物理学における粒子間の静電による反発効果にインスパイアされた、Coulomb repulsive(Corp) processを新たに提案する。
このprocessとGP prirorを組合せて新たなelectrostatic GP processを提案する。
このprocessでは、GPの潜在変数はgaussianではなく、repulsive processの１つであるCorpを用いる。
repulsive processは各データ点が反発するように、広く散布するような分布モデルであり、これを潜在変数の分布として採用する事で、多様体上で広く分布するデータ点を得る事が出来る。
これにより多様体学習におけるidentifiabilityを改善する事が出来る。
Corpは特にCoulomb’s lawに基づいた粒子間の静電による反発効果に関するモデルを利用し、GPの潜在変数分布として最適である。
Galileo: Perceiving Physical Object Properties by Integrating a Physics Engine with Deep Learning, NIPS2015
人は動的なシーンから物理的な予測を行う事や、静的画像から物理的特性を予測する事が出来る。
本論ではDeep Learningによる生成モデルに基づき、そのような物理シーンの理解を行う。
このモデルは物理演算エンジンを利用し、物体の物性表現を用いた学習を行う。
学習では、MCMCを利用した物体のvisual representationの特徴に関する予測タスクを考え、それに基づいた最適化を行う。
またvisual inputから直接その中の物体の物性を予測する問題も扱う。
これは生成モデルをinvertする事で実現される。