原文

多予測性DBM (Multi-prediction deep Boltzmann machines)
Ian J. Goodfellow, Mehdi Mirza, Aaron Courville, Yoshua Bengio (2013)

1. 要約／背景

MP-DBMは、一般尤度関数の変分近似で一価確率モデルを学習したものである。
多層化の際、貪欲法による積層化の処理が必要なくなる点で、斬新である。

従来の積層に比べて、次のようなメリットがある

上層が下層の影響を汲み取りやすい
多様な確率モデルを適用できる
複層計算によるコストを防げる

2. 骨子の理論

(1)Multi-prediction training
MPTは、平均場近似を使い、再帰ネットワークを誘起する学習方法である。
対応モデルとして

１. 可変基準を持つ一価確率モデル
２. 再帰ネットワーク群

が挙げられる。
学習の際に観測される全ての変数群を$O$とする。$Q_i$を$i$番目の変数予測のための汎関数と取ると、$i$番目の変数予測の変分近似は次のように表される。

Q_i(O_{S_i},h) = \arg\min_QD_{KL}(Q(O_{S_i},h)||P(O_{S_i},h|O_{-S_i}))

すなわち、同時分布と、$i$番目を除いた系による条件分布とのカルバック・ライブラー・ダイバージェンスの最小化に等しい。

MPDBMの学習のコツは、RBMを積み上げてDBMを作った後に、RBM時代のパラメータ群$\theta$を全て棄却し、DBM全体で学習し直す点である。平均場近似を使って、隠し変数を推定する。その上で、パラメータ$\theta$を推定し直す(Multi Layer Perceptron)

下図は、ミニバッチでMulti-predictionトレーニングをする挙動の様子を表す。
各段で、それぞれの学習例を示す。
黒丸は、そのネットワークが観測できる変数を表す。それに対し、青丸で予測された特徴が表現される。
これらの要素は、緑矢印で表現される関連性があってこそ、それぞれの挙動を発揮する。

3. モデル適用例

MNISTやNORBのテストでは、調整されたDBMよりやや効果的な結果が出た。