問題
ベイズ線形回帰モデルの$\mathbf{w}$に関する積分が(3.85)で与えられることを示せ。したがって、対数周辺尤度が(3.86)で与えられることを示せ。
解答
\begin {align*} E(\mathbf{w})=E\left(\mathbf{m}_{N}\right)+\frac{1}{2}\left(\mathbf{w}-\mathbf{m}_{N}\right)^{\mathrm{T}} \mathbf{A}\left(\mathbf{w}-\mathbf{m}_{N}\right) \tag{3.80} \end {align*}\begin {align*} E\left(\mathbf{m}_{N}\right)=\frac{\beta}{2}\left\|\mathbf{t}-\mathbf{\Phi} \mathbf{m}_{N}\right\|^{2}+\frac{\alpha}{2} \mathbf{m}_{N}^{\mathrm{T}} \mathbf{m}_{N} \tag{3.82} \end {align*}
\begin {align*}
\int \exp \{-E(\mathbf{w})\} \mathrm{d} \mathbf{w} =\exp \left\{-E\left(\mathbf{m}_{N}\right)\right\}(2 \pi)^{M / 2}|\mathbf{A}|^{-1 / 2}
\tag{3.85}
\end {align*}
まずは、単純に上の(3.85)が成り立つことを示せばよく、実際に積分を計算すると、(3.82)より$E\left(\mathbf{m}_{N}\right)$は$\mathbf{w}$の関数ではないため積分の外に出すことができる。
\begin {align*}
\int \exp \{-E(\mathbf{w})\} \mathrm{d} \mathbf{w} =\exp \left\{-E\left(\mathbf{m}_{N}\right)\right\} \int \exp \left\{-\frac{1}{2}\left(\mathbf{w}-\mathbf{m}_{N}\right)^{\mathrm{T}} \mathbf{A}\left(\mathbf{w}-\mathbf{m}_{N}\right)\right\} \mathrm{d} \mathbf{w}
\end {align*}
D次元ガウス分布は正規化されていることを使うと、今回$\mathbf{w}$の次元はMであるため、
\begin {align*} \frac{1}{(2 \pi)^{D / 2}} \frac{1}{|\Sigma|^{1 / 2}}\int \exp \left\{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu})^{\mathrm{T}} \Sigma^{-1}(\mathbf{x}-\mathbf{\mu})\right\}d\mathbf{x} = 1 \end {align*}
\begin {align*}
\int \exp \{-E(\mathbf{w})\} \mathrm{d} \mathbf{w} =\exp \left\{-E\left(\mathbf{m}_{N}\right)\right\}(2 \pi)^{M / 2}|\mathbf{A}|^{-1 / 2}
\tag{3.85}
\end {align*}
よって、(3.85)が成り立つことを示すことができた。
また、対数周辺尤度は
\begin {align*}
p(\mathbf{t} | \alpha, \beta)=\left(\frac{\beta}{2 \pi}\right)^{N / 2}\left(\frac{\alpha}{2 \pi}\right)^{M / 2} \int \exp \{-E(\mathbf{w})\} \mathrm{d} \mathbf{w}
\tag{3.78}
\end {align*}
で表すことができ、(3.85)の結果と合わせると、
\begin {align*}
p(\mathbf{t} | \alpha, \beta)=\left(\frac{\beta}{2 \pi}\right)^{N / 2}\left(\frac{\alpha}{2 \pi}\right)^{M / 2} \exp \left\{-E\left(\mathbf{m}_{N}\right)\right\}(2 \pi)^{M / 2}|\mathbf{A}|^{-1 / 2}
\tag{3.29}
\end {align*}
この等式に対数を取ってやると、
\begin {align*}
\ln p(\mathbf{t} | \alpha, \beta)=\frac{M}{2} \ln \alpha+\frac{N}{2} \ln \beta-E\left(\mathbf{m}_{N}\right)-\frac{1}{2} \ln |\mathbf{A}|-\frac{N}{2} \ln (2 \pi)
\tag{3.86}
\end {align*}
よって対数周辺尤度が(3.86)で与えられることが示された。