原文
Spike & Slab RBMによる、画像データの教師なし学習モデル (Unsupervised Models of Images by Spike-and-Slab RBMs)
Aaron Courville (2011)
1. 要約／背景
- 隠し変数を実数(正規分布)←Spike、2値←Slabのケースに分解したRBMモデル理論を確立した。
- 特徴量の数値化の表現の幅が広がり、画像データの扱いの精度が上がる。
2. 骨子の理論
(1)エネルギー関数
Spikeをh, slabをsで表現している。
E(v,s,h)=-\sum_{i=1}^{N}v^T{\bf W}_is_ih_i + \frac{1}{2}v^T\Big(\Lambda + \sum_{i=1}^{N}\Phi_ih_i \Big)v \\ +\frac{1}{2}\sum_{i=1}^{N}\alpha_i s_i^2 - \sum_{i=1}^{N}\alpha_i\mu_is_ih_i - \sum_{i=1}^{N}b_ih_i + \sum_{i=1}^{N}\alpha_i\mu_i^2h_i
(2)隠し変数の事後分布
活性化関数にシグモイド関数を置いた時、次のように表現される。
\begin{align}
P(h_i = 1|v)&=\frac{1}{p(v)}\frac{1}{Z_i} \int \exp\{-E(v,s,h)\} ds \\
&= \sigma \Big(\frac{1}{2}\alpha_i^{-1}(v^T{\bf W}_i)^2 + v^T{\bf W}_i\mu_i -\frac{1}{2}v^T\Phi_iv + b_i \Big)
\end{align}
3. モデル適用例
CIFAR-10の画像40000枚を学習させたうえで、10000枚のテストをさせた。
ssRBMが本論文のモデルである。突出したパフォーマンスではないが、有効なアウトプットを出せている。