問題
一般的な結果(2.115)を用いて、ベイズニューラルネットワークモデルのラプラス近似による予測分布(5.172)を導け。
参考
\begin {align*}
p(\mathbf{x}) &=\mathcal{N}\left(\mathbf{x} \mid \boldsymbol{\mu}, \mathbf{\Lambda}^{-1}\right)
\tag{2.113}
\end {align*}
\begin {align*}
p(\mathbf{y} \mid \mathbf{x}) &=\mathcal{N}\left(\mathbf{y} \mid \mathbf{A} \mathbf{x}+\mathbf{b}, \mathbf{L}^{-1}\right)
\tag{2.114}
\end {align*}
\begin {align*}
p(\mathbf{y})=\mathcal{N}\left(\mathbf{y} \mid \mathbf{A} \mathbf{\mu}+\mathbf{b}, \mathbf{L}^{-1}+\mathbf{A} \mathbf{\Lambda}^{-1} \mathbf{A}^{\mathbf{T}}\right)
\tag{2.115}
\end {align*}
\begin {align*}
p(t \mid \mathbf{x}, \mathcal{D}, \alpha, \beta)=\mathcal{N}\left(t \mid y\left(\mathbf{x}, \mathbf{w}_{\mathrm{MAP}}\right), \sigma^{2}(\mathbf{x})\right)
\tag{5.172}
\end {align*}
\begin {align*}
\sigma^{2}(\mathbf{x})=\beta^{-1}+\mathbf{g}^{\mathrm{T}} \mathbf{A}^{-1} \mathbf{g}
\tag{5.173}
\end {align*}
方針
今回の問題においてはガウス分布の周辺化において成り立つ上記の(2.115)を利用して、丁寧に数式を追いながら(5.172)を導けばよい。
解答
(2.113)に相当する今回の事前分布はラプラス近似によって本文の(5.162)~(5.167)を用いて、
\begin {align*}
p(\mathbf{w} \mid \mathcal{D}, \alpha, \beta) \simeq q(\mathbf{w} \mid \mathcal{D})=\mathcal{N}\left(\mathbf{w} \mid \mathbf{w}_{\mathrm{MAP}}, \mathbf{A}^{-1}\right)
\tag{2.113'}
\end {align*}
と書くことができる。
また、(2.114)に相当する今回の条件付き確率は(5.171)で与えられているため
\begin {align*}
p(t \mid \mathbf{x}, \mathbf{w}, \beta) \simeq \mathcal{N}\left(t \mid y\left(\mathbf{x}, \mathbf{w}_{\mathrm{MAP}}\right)+\mathbf{g}^{\mathbf{T}}\left(\mathbf{w}-\mathbf{w}_{\mathrm{MAP}}\right), \beta^{-1}\right)
\tag{2.114'}
\end {align*}
とおく。
これらの(2.113')(2.114')を用いて変数の対応に注意しながら(2.115)で示される周辺化を行うと、
\begin {align*}
p(t \mid \mathbf{x}, \mathcal{D}, \alpha, \beta)=\mathcal{N}\left(t \mid y\left(\mathbf{x}, \mathbf{w}_{\mathrm{MAP}}\right), \sigma^{2}(\mathbf{x})\right)
\tag{5.172}
\end {align*}
\begin {align*}
\sigma^{2}(\mathbf{x})=\beta^{-1}+\mathbf{g}^{\mathrm{T}} \mathbf{A}^{-1} \mathbf{g}
\tag{5.173}
\end {align*}
を導くことができた。