Generalized Direct Change Estimation in Ising Model Structure, ICML2016
P次元イジングモデルにおける変化を推測する手法を提案する。
この変化は構造的である事を想定して、それは例えばsparse、block sparse、node-perturbed sparseといった構造である。
このような構造はatomic normを用いて制約として最適化問題に取り入れて利用する事ができる。
Atomic normはある構造、例えば1-to-K sparse vector、に対してその凸包、例えばL1ノルム、を用いて制約として用いればある精度においてその構造制約を取り入れる事を可能にする一般的なノルム制約のフレームワークである。
本論ではこうした構造単位の変化、atomic-normの制約を取り入れた推測器を用いる事で直接推定する事を可能にする。
このときの推測誤差は、２つのデータのsample complexity、内包している構造のサイズ（数？）、に関連して決まってくる。
Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization, ICML2016
Inverse optimal control(IOC)が扱う問題として、人間のデモンストレーションを与える事で機械に最適化すべきコスト関数を学習させる問題がある。
この問題では、事前に有用な特徴量や、適切な制約を与えてコスト関数の構造を限定させてやる必要がある事、また不明かつ高次元な環境下でそのコスト関数を適切に最小化する必要がある。
本論では、この手間を回避するために、前者の問題に対してはNNモデルを導入する事で任意の非線形コスト関数を学習可能にする。
後者の問題に関しては、maximum entropy IOCの枠組みに沿った形でその効率的なサンプルベースの近似手法を提案する。
Maximum entropyベースの手法は、教師データがsuboptimalな場合にも利用可能なモデルを利用する手法である。
Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning, ICML2016
Deep learning手法はモデルのuncertaintyを扱うことができないものが主である。
対して、bayesian modelはuncertaintyを扱えるが、計算コストの面で難があることが多い。
本論では、dropoutをdeep gaussian processにおけるベイズ推論として捉えるための理論的なフレームワークを提供する。
dropoutはモデルの重みのintegrationとして捉えることができる。
そしてdropoutを用いたNNの学習はdeep gaussian modelにおけるbayesian inferenceとなる事を理論的に示し、また実際にuncertaintyを測るための手法を提案する。