End-to-End Kernel Learning with Supervised Convolutional Kernel Networks, NIPS2016
多層カーネルマシンを利用した新たな画像表現を提案する。
従来のカーネル法では、予測タスクを通して画像表現は獲得されてきた。
一方提案手法では教師情報を利用してカーネルの構造を学習する。
本論では、まず最初に最近提案された教師なし学習であるConvolutional kernel networks(CKN)の性能を改善させた。
続いて、教師あり学習を行う事を可能にし、ラベル情報を活用可能にした。
得られるモデルは新たな形のCNNとして捉えられ、各フィルタの最適化がRKHSにおける線形部分空間を学習する事と等価になる。
提案モデルは様々な画像データに関連するタスクへ適用可能である。
Adaptive Neural Compilation, NIPS2016
本論では、効率的なプログラムを学習するためのadaptive neural-compilationフレームワークを提案する。
従来のコードコンパイル手法では予め決められた変換の集合を適用する事で、コードのセマンティクスを変える事なく効率的なコードへの変換を行った。
本論で扱う手法は一方、対象の入力分布に対する確からしさを変える事なくより効率的な表現を学習する事を考える。
本論では、最近注目されているプログラムの微分可能表現に注目し、低レベル言語によって記述されたプログラムは微分可能表現へ変換可能である事を示した。
またこの微分可能表現を元にどのようにすれば対象の入力分布に対して効率的な表現を獲得できるかも示した。
Synthesis of MCMC and Belief Propagation, NIPS2016
MCMCと信念伝搬法（BP）は共にグラフモデルにおける推論を行う上で一般的な手法である。
ただ、MCMCはexactな確率的手法でありながらmixing rateが指数的に遅く、BPは決定的な手法で高速かつ経験的に成功するがループ構造があるグラフに対しては制御が難しい。
本論では、BPのそうした欠点により生じる推論誤差をMCMCを用いて補間する手法を提案する。
提案手法はLoop Calculusの手法によりBPの推論誤差をgeneralized loopの重み付き和として表現する。
この計算において全ての項を計算する事は不可能である事が知られているが、2ループまでを考慮した場合においては、planer pair-wise binary graphical modelを用いる事で多項式時間で計算可能である事が分かっている。
この事に基づき、本論では、MCMCを用いたpair-wise binary modelの予測手法を提案する。
また全ての項を考慮した場合での近似手法も提案する。