The Teaching Dimension of Linear Learners, ICML2016
Teaching dimensionは対象とするモデルを学習者に教える際に、理論的に要求される最小の訓練データサイズの事である。
従来研究では、訓練データと一貫性を持つ全ての仮説集合を推定するversion space learnerに関するtreaching dimensionを扱っていた。
本論では、最適化手法により最適な仮説関数を推定する学習者に関するteaching dimensionを扱う。
特にリッジ回帰、SVM、ロジスティック回帰に関するteaching dimensionを求めた。
A Kernelized Stein Discrepancy for Goodness-of-fit Tests, ICML2016
Stein’s identityとRKHSを組み合わせる事で、尤度計算を要求しない新たな２つの分布間差異を比較する統計量を提案する。
Stein’s identityは分布間の距離に関して一般的なboundを与える理論である。
この理論は分布関数の微分値と入力の分散に関して成り立ち一致性を示す。
Stein’s identityの特定例としてStein’s lemmaもある。
この一致性をもとに、実際の計算値のズレ量をStein discrepancy measureとして利用する。
本論ではこのmeasureをRKHSで計算する。
提案した統計量を用いる事で確率モデルがどれだけ観測データに適合しているかの検定を行う事が可能になる。
この検定は、複雑で高次元なデータに適用可能で、また正規化係数の計算も必要がない。
DR-ABC: Approximate Bayesian Computation with Kernel-Based Distribution Regression, ICML2016
approximate bayesian computation(ABC)は尤度フリーの事後分布計算を可能とするフレームワークである。
ABCは生成モデルからサンプルしたデータと訓練データとの要約統計量を比較する事でサンプリング精度を測るサンプリング手法である。
この時要約統計量をどのように選ぶかが重要であり、それの一般的な選択手法は少ない。
本論ではカーネル法に基づく分布回帰を用いる事で提案する。
これは特性カーネルを利用したRKHSへの分布埋め込みをもとにしたカーネル回帰手法に基づく。
また条件付き確率に対する分布回帰を用いる事でデータの特定構造に関する知識を取り入れた手法も提案する。
計算コストの低いフーリエカーネルを用いる事でlarge scale dataにも適用可能である。