原文
焼きなまし遷移を利用したマルコフ確率場における学習 (Learning in Markov random fields using tempered transitions)
Ruslan Salakhutdinov (2009)
1. 要約／背景
- 焼きなまし遷移(tempered transition)とは、ギブスサンプリングの遷移則を表す。
- 焼きなまし遷移の利用で、サンプル間の依存性を下げることができる。
- 結果として、サンプル間の独立性を前提としたMCMC近似を使いやすくなり、効果的な計算手法を得られる。
2. 骨子の理論
(1)焼きなまし遷移
2データ$x, x'$間のギブスサンプリングにおいて、次の関係が成り立つ。
$$p_s({\bf x})T_s({\bf x'}\leftarrow {\bf x}) = \tilde T_s({\bf x}\leftarrow {\bf x'})p_s({\bf x'}) $$
この遷移行列${\bf T}$を抜き出し、$N$個目のサンプリングで利用する。
(2)対数尤度の近似
一般に、ボルツマンマシンにおいて、対数尤度（勾配）は以下の式から導かれる。
\frac{\partial \log p({\bf x}_0 ; \theta)}{\partial \theta} = \phi ({\bf x}_0) - {\bf E}_{p({\bf x}_0 ; \theta)}[\phi({\bf x})]
(1)により、サンプリングデータ間の依存性が小さくなると、下のように尤度を直積の形で近似計算することができる。
P_{PL}({\bf x}_0 ; \theta) = \prod_{k=1}^{K}p(x_k | {\bf x}_{0,-k};\theta)
(PLはPseudo-Likelihoodの略)
$p(x_k|{\bf x}_k)≒p(x_k)$という近似が成り立つ。
3. モデル適用例
MNISTサンプルに対する対数尤度を比べる。
本手法での対数尤度が-87.12だったが、これは、従来の-85.91と近しい結果であり、本手法の有効性が示唆される結果となる。