問題
ラプラス近似の結果(4.135)を用いて, ベイズニューラルネットワークモデルにおける超パラメータ$\mathbf{\alpha, \beta}$のエビデンス関数が(5.175)で近似できることを示せ.
\begin{align*}
\mathrm{Z}&=\mathrm{\int{f(z)dz}}\\
&\simeq\mathrm{f(z_0)\int{exp}\Bigl\{-\frac{1}{2}(z-z_0)^TA(z-z_0)\Bigr\}dz}\\
&=\mathrm{f(z_0)\frac{(2\pi)^{M/2}}{|A|^{1/2}}}
\tag{4.135}
\end{align*}
\begin{align*}
\mathrm{lnp(D|{\alpha},\beta)\simeq-E(w_{MAP})-\frac{1}{2}|A|+\frac{W}{2}ln\alpha+\frac{N}{2}ln\beta-\frac{N}{2}ln(2\pi)}
\tag{5.175}
\end{align*}
方針
超パラメータのエビデンスはネットワーク重みを
\begin{align*}
\mathrm{p(D|\alpha,{\beta})=\int{p}(D|w,\beta)p(w|\alpha)dw}
\tag{5.174}
\end{align*}
のように積分することで得られる.これはラプラス近似の結果(4.135)を用いると容易に評価される. これの対数を取ると(5.175)が与えられる.
つまり題意を示すには(5.174)をラプラス近似の結果(4.135)を用いて変形し, (5.175)に帰着させればよい.
解答
\begin{align*}
\mathrm{p(D|\alpha,{\beta})=\int{p}(D|w,\beta)p(w|\alpha)dw}
\tag{5.174}
\end{align*}
において$\mathrm{f(w)=p(D|w,\beta)p(w|\alpha),Z=p(D|{\alpha},\beta)}$として(4.135)を適用すると($\mathbf{W}$は$\mathbf{w}$の次元)
式変形に以下を利用
\begin{align*}
\mathrm{p(w|\alpha)=N(w|0,\alpha^{-1}I)}
\tag{5.162}\\
\mathrm{p(D|w,\beta)=\prod^N_{n=1}N\bigl(t_n|y(x_n,w),\beta^{-1}\bigr)}
\tag{5.163}
\end{align*}
\begin{align*}
\mathrm{Z{\simeq}f(w_{MAP})}&=\mathrm{p(D|w_{MAP},\beta)p(w_{MAP}|\alpha)}\\
&=\mathrm{\prod_{n=1}^NN(t_n|y(x_n,w_{MAP}),\beta^{-1})N(w_{MAP}|0,\alpha^{-1}I)}\\
&=\mathrm{\prod_{n=1}^N\frac{1}{(2\pi)^{1/2}}\frac{1}{(\beta^{-1})^{1/2}}exp\Bigl[-\frac{1}{2\beta^{-1}}\bigl\{t_n-y(x_n,w_{MAP})\bigr\}^2\Bigr]\frac{1}{(2\pi)^{w/2}}\frac{1}{|\alpha^{-1}I|^{1/2}}exp\Bigl\{-\frac{1}{2}w^T_{MAP}(\alpha^{-1}I)^{-1}w_{MAP}\Bigr\}}\\
&=\mathrm{\prod^N_{n=1}\Bigl(\frac{\beta}{2\pi}\Bigr)^{1/2}exp\Bigl[-\frac{\beta}{2}\bigl\{t_n-y(x_n,w_{MAP})\bigr\}^2\Bigr]\Bigl(\frac{\alpha}{2\pi}\Bigr)exp\bigl(-\frac{\alpha}{2}w^T_{MAP}w_{MAP}\bigr)}
\end{align*}
よって
\begin{align*}
\mathrm{lnp(D|{\alpha},\beta)}&\simeq\mathrm{{ln}f(w_{MAP})+\frac{W}{2}ln(2\pi)-\frac{1}{2}ln|A|}\\
&=\mathrm{\sum^N_{n=1}\Bigl[\frac{1}{2}\bigl\{ln\beta-ln(2\pi)\bigr\}-\frac{\beta}{2}\bigl\{t_n-y(x_n,w_{MAP})\bigr\}^2\Bigr]}\mathrm{+\frac{W}{2}\bigl\{ln\alpha-ln(2\pi)\bigr\}-\frac{\alpha}{2}w^T_{MAP}w_{MAP}+\frac{W}{2}ln(2\pi)-\frac{1}{2}ln|A|}\\
&=\mathrm{-\Bigl[\frac{\beta}{2}\sum^N_{n=1}\bigl\{t_n-y(x_n,w_{MAP})\bigr\}^2+\frac{\alpha}{2}w^T_{MAP}w_{MAP}\Bigr]}\mathrm{-\frac{1}{2}ln|A|+\frac{N}{2}ln\beta-\frac{N}{2}ln(2\pi)+\frac{W}{2}ln\alpha}\\
&=\mathrm{-E(w_{MAP})-\frac{1}{2}ln|A|+\frac{N}{2}ln\beta-\frac{N}{2}ln(2\pi)+\frac{W}{2}ln\alpha}
\tag{5.175}
\end{align*}
したがって題意は示された.