Stability revisited: new generalisation bounds for the Leave-one-Out
本論ではleave-one-out(LoO)手法を広いクラスのアルゴリズムに適用した際において、一般的に適用可能な非漸近的な理論保証を与える。
これはこの保証はLoOによる予測と実際の推論誤差との間の乖離に対する上界を与える。
この理論は、L^q stabilityとmomentum inequalityを用いて導出される。
L^q stabilityは従来のhypothesis stabilityを拡張しており、一方でuniform stabilityよりは弱いstability表現になっている。
この理論は緩い条件下のもとleave-one-outに対する新たなPAC exponential generalization boundを導く。
サンプルのboundednessのもとuniform stableなアルゴリズムに対して、上記PACは成り立つ。
Why does deep and cheap learning work so well?
本論ではdeep learningの成功が数学だけでなく、物理にも支えられている事を示す。
一般的な理論として、数学的にneural networkは全ての関数を近似できる事が証明されている事は知られている。
しかし実際のネットワークは、一般的なネットワークと比較して指数的に少ない数のパラメータで構成できるよりcheapな構造で対象を近似可能である。
これは対象が結局よりシンプルな物理法則に支配されている事に起因する。
このシンプル化に寄与している具体的な法則としては、symmety, locality, compositionality, およびpolynomial log-probabilityである。
本論ではこれら法則がどのような形でシンプルなニューラルネットワークへ取り入れられていくのかを分析した。
特に、データ生成プロセスが物理と機械学習双方に関係が深い階層的プロセスであった場合、そのdeep learningモデルの構造がもはやshallow networkのものよりも簡素化される。
本論ではこれらの主張を、情報理論の観点から議論し、特にrenormalization groupと関連付ける。
またいくつかのno-flattening theoremを導出し、つまり線形活性化関数で成り立っているニューラルネットワークであれどもそのshallow networkへの近似は高コストである事、あるいは多項式関数を利用した場合は指数的にコストが増大する事を示した。
“Why Should I Trust You?” Explaining the Predictions of Any Classifier
機械学習モデルはブラックボックスなものが多く、その予測に対する説明は難しい。
しかし予測を説明する事は、そのモデルを採用するための判断や、モデルに対する洞察を与えるに際して重要である。
本論では、LIMEと呼ばれる、任意の分類モデルに対して適用可能な予測説明手法を提案する。
これは予測値周辺における理解可能なローカルモデルを学習する事で実現される。
また本論ではある予測に対する表現とそれに対する説明を無駄のない形で実現する手法を提案する。
この手法は劣モジュラ最適化問題として定式化される。