原文
積和ネットワーク：新しい深層学習装置(Sum-product networks: A new deep architecture)
Hoifung Poon and Pedro Domingos (2011)
1. 要約／背景
- 積和ネットワーク(SPN)は、グラフィカルモデルの積和アルゴリズムを利用した学習装置である。
- 他の深層ネットワークより、パラメータの設定数が少なくて済む。
- 積和アルゴリズムは、分配法則などを駆使して、和積の計算ステップを最適化する。
2. 骨子の理論
有向木という階層構造がコンセプトの中心になる。
入力層から、出力層へノードが移る過程を、節から枝葉に別れる形で表現している。
下図では、X1、X2という入力データが積み上がっていく過程を表している。
和は、多変数の場合分け、積は、そのまま積事象に対応している。
特徴として、「X1でない」という否定の情報も一データとして扱う点である。
それぞれのデータの事象の繋がり方が、結果的に多項式形式で表現され、繋がる重みが通例のwijに対応する。
学習機構は、対数尤度からの推定、誤差逆伝播法を用いる。
3. モデル適用例
Caltech, Olivettiといった画像DBから画像認識テストを実施した。
下表は、画像の左部、下部のピクセル認識について、平均二乗誤差を示した。
驚くのが、DBMやDBNに比べて誤差が少ない点である。
著者の考察として、推論のアルゴリズムに違いがあるのではないか、ということだ。
ボルツマンマシンでは、計算過程で近似推定を使うが、SPNでは、完全計算による事後確率算出ができる。