KDD2015 SAME but Different: Fast and High-Quality Gibbs Parameter Estimationを読んだ
どんなもの？
- SAME (State Augmentation for Marginal Estimation)をグラフィカルモデルへ適用
- 元々精度の良い手法(SAME)を高速化できた
先行研究と比べると？
- LDAへの適用で、online VBと同程度に高速で、その他の手法より精度が良いことを示した
技術や手法のキモはどこ？
- GPUで高速化
- factored sample representation↓したSAMEを組み合わせる
- 潜在変数同士が独立(LDAとか)ならポアソン分布で一気にサンプリング そうでない場合は近似だと思って同じようにサンプリングする。 この近似はVBとやっていることは同じ
どうやって有効だと検証した？
LDAのVBやCGS実装と比較。
- 尤度の収束がVBonlineと同じくらい早い
CGSで1000-2000 passかかっているのが20passでいい
- CGS1000pas分に到達するのにVBonlineが40sec,提案が90sec。CGS系は60-70h
議論はある？
- 1passでサンプルサイズを増やすと精度は上がるが速度が下がる。GPUに上手く合わせてやるとそこまで速度の低下は見られない
- サンプルサイズをpass毎に変えていく方法も考えられるが、あまり効果はなかった
次に読むべき論文は？
- A. Doucet, S. Godsill, and C. Robert. Marginal maximum a posteriori estimation using markov chain monte carlo. Statistics and Computing, 12:77–84, 2002.
- L. Bottou and O. Bousquet. The tradeoffs of large scale learning. In NIPS, volume 4, page 2, 2007.
- J. Canny and H. Zhao. Bidmach: Large-scale learning with zero memory allocation. In BigLearn Workshop, NIPS, 2013.