LoginSignup
1

More than 5 years have passed since last update.

機械学習論文読みメモ_91

Posted at

Efficient Nonparametric Smoothness Estimation, NIPS2016
確率密度分布に対するSobolev quantities(ノルム、内積、距離など)はノンパラメトリック統計の理論において重要だが、実用的な推定器の不足よりあまり利用されない。
その中には様々なapplicationで利用されるL2距離なども含まれている。
本論では不明な確率密度分布に関するSobolev quantitiesに対する推定器を提案、分析した。
提案した推定器の有限サンプルに対する予測誤差、分散のboundを求め、それがminimax rate-optimialである事を示した。
提案した推定器は従来のものと比較して、より計算しやすいものとなっている。

Fast epsilon-free Inference of Simulation Models with Bayesian Conditional Density Estimation, NIPS2016
多くの統計モデルはシミュレーションが可能だが、計算不可能な尤度関数を持つ。
Approximate Bayesian Computation (ABC)はそうしたモデルに対してMCMCと統計量に基づいたlikelifood-freeな手法を与える。
ABCは観測データのε-ball周りに計算された事後分布サンプリングが存在するよう条件付ける。
MCMCサンプリングにより、近似した事後分布から実際のサンプルを得る事ができる。
これらはε値を0に近づけるほど近似精度が向上するが、計算コストが高くなり、また事後分布以外の分布からのサンプリングも得やすくなってしまう。
本論では、新たなlikelifood-freeな手法として、bayesian conditional density estimationに基づいた手法を提案する。
この手法は初期の限定されたシミュレーションにより得られたサンプルを用いてそれ以後のサンプリングを条件つける。
この方法だと従来のMCMCベースの手法と比較して正確な事後分布の予測をより少ないサンプリング回数で実現する事ができる。

Rényi Divergence Variational Inference, NIPS2016
本論では従来のvariational inferenceをRenyi alpha-divergenceの枠組みで利用可能なより一般化されたvariational Renyi boundを提案する。
この手法は今まで存在したvariationalな手法を統一し、またスムーズな内挿を可能にする。
Reparameterization trick, MCMC, stochastic optimizationなどの手法を取り入れる事で計算可能で統一された最適化フレームワークを提案する。
またalphaが負である場合も考え、それに関する新たあvariatinal inference手法を提案する。

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1