問題

次のベイズ線形回帰の誤差関数
$$
\begin{align*}
E(\mathbf{w})
= \beta E_{D}(\mathbf{w})+\alpha E_{W}(\mathbf{w})
= \frac{\beta}{2}\left|\mathbf{t}-\Phi_{\mathbf{W}}\right|^{2}+\frac{\alpha}{2} \mathbf{w}^{\mathrm{T}} \mathbf{w}
\tag{3.79}
\end{align*}
$$
を考える。この(3.79)を、$\mathbf{w}$ に関して平方完成することにより、次の式

E(\mathbf{w}) =
E\left(\mathbf{m}{N}\right)+\frac{1}{2}\left(\mathbf{w}-\mathbf{m}{N}\right)^{\mathrm{T}}
\mathbf{A}\left(\mathbf{w}-\mathbf{m}_{N}\right)
\tag{3.80}

の形で書けることを示せ。

>ただし、

>```math
\mathbf{A}=\alpha \mathbf{I}+\beta \mathbf{\Phi}^{\mathrm{T}} \mathbf{\Phi}
\tag{3.81}

E\left(\mathbf{m}{N}\right)=\frac{\beta}{2}\left|\mathbf{t}-\Phi \mathbf{m}{N}\right|^{2}+\frac{\alpha}{2} \mathbf{m}{N}^{\mathrm{T}} \mathbf{m}{N}
\tag{3.82}

>```math
\mathbf{m}_{N}=\beta \mathbf{A}^{-1} \mathbf{\Phi}^{\mathrm{T}} \mathbf{t}
\tag{3.84}

と定義する。

方針

まず、
　　$ \alpha $ はパラメータ $ \mathbf{w} $が従う等方性ガウス分布の精度パラメータ、
　　$ \beta $ は目標変数 $ \mathrm{t} $ が従うガウスノイズ分布の精度（分散の逆数）パラメータ
です。

(3.79)を展開した上で、以下に示すような性質や式を用いるために、技巧的な式変形を駆使しながら、(3.80)を目指します。

用いる性質や式の一部を示すと、(3.81)と

\begin{align*}
\mathbf{S}_{N}^{-1}=\alpha \mathbf{I}+\beta \boldsymbol{\Phi}^{\mathrm{T}} \boldsymbol{\Phi}
\tag{3.54}
\end{align*}

より、

\begin{align*}
\mathbf{A}^{-1}
=\mathbf{S}_{N}
\end{align*}

であることから、 $(\mathbf{A}^{-1})^\mathrm{T} = \mathbf{A}^{-1} $　となります。

よって、

\begin{align*}
\mathbf{m}_{N}^\mathrm{T}
= (\beta \mathbf{A}^{-1} \mathbf{\Phi}^{\mathrm{T}} \mathbf{t})^\mathrm{T}
=\beta \mathbf{t}^\mathrm{T} \boldsymbol{\Phi} (\mathbf{A}^{-1})^\mathrm{T}
= \beta \mathbf{t}^\mathrm{T} \boldsymbol{\Phi} \mathbf{A}^{-1}
\end{align*}

であることなどを用いることに注意します。

解答

\begin{align*}
\frac{\beta}{2} \|\mathbf{t}-\Phi \mathbf{w}\|^{2}+\frac{\alpha}{2} \mathbf{w}^{\mathrm{T}} \mathbf{w}
& =\frac{\beta}{2} (\mathbf{t}^ {\mathrm{T}}-\mathbf{w}^{\mathrm{T}}\Phi^{\mathrm{T}})(\mathbf{t}-\Phi \mathbf{w})+\frac{\alpha}{2} \mathbf{w}^{\mathrm{T}} \mathbf{w}  \\
& =\frac{\beta}{2}\left(\mathbf{t}^{\mathrm{T}} \mathbf{t}-2 \mathbf{t}^{\mathrm{T}} \mathbf{\Phi} \mathbf{w}+\mathbf{w}^{\mathrm{T}} \mathbf{\Phi}^{\mathrm{T}} \mathbf{\Phi} \mathbf{w}\right)+\frac{\alpha}{2} \mathbf{w}^{\mathrm{T}} \mathbf{w} \\
&=\frac{1}{2}\left(\beta \mathbf{t}^{\mathrm{T}} \mathbf{t}-2 \beta \mathbf{t}^{\mathrm{T}} \mathbf{\Phi} \mathbf{w}+\mathbf{w}^{\mathrm{T}} \mathbf{A} \mathbf{w}\right)
(∵\mathbf{A}=\alpha \mathbf{I}+\beta \mathbf{\Phi}^{\mathrm{T}} \mathbf{\Phi}  (3.81)) \\
& =\frac{1}{2}\left(\beta \mathbf{t}^{\mathrm{T}} \mathbf{t}-2 \beta \mathbf{t}^{\mathrm{T}} \mathbf{\Phi} \mathbf{A}^{-1} \mathbf{A} \mathbf{w}+\mathbf{w}^{\mathrm{T}} \mathbf{A} \mathbf{w}\right) (∵\mathbf{A} \mathbf{A}^{-1} = \mathbf{I} )\\
& =\frac{1}{2}\left(\beta \mathbf{t}^{\mathrm{T}} \mathbf{t}-2 \mathbf{m}_{N}^{\mathrm{T}} \mathbf{A} \mathbf{w}+\mathbf{w}^{\mathrm{T}} \mathbf{A} \mathbf{w}+\mathbf{m}_{N}^{\mathrm{T}} \mathbf{A} \mathbf{m}_{N}-\mathbf{m}_{N}^{\mathrm{T}} \mathbf{A} \mathbf{m}_{N}\right) \\
& =\frac{1}{2}\left(\beta \mathbf{t}^{\mathrm{T}} \mathbf{t}-\mathbf{m}_{N}^{\mathrm{T}} \mathbf{A} \mathbf{m}_{N}\right)+\frac{1}{2}\left(\mathbf{w}-\mathbf{m}_{N}\right)^{\mathrm{T}} \mathbf{A}\left(\mathbf{w}-\mathbf{m}_{N}\right)
\end{align*}

あとは、この式の第１項が(3.82)と等しいことを示せばよいことがわかる。

\begin{align*}
\frac{1}{2}\left(\beta \mathbf{t}^{\mathrm{T}} \mathbf{t}-\mathbf{m}_{N}^{\mathrm{T}} \mathbf{A} \mathbf{m}_{N}\right) 
& =\frac{1}{2}\left(\beta \mathbf{t}^{\mathrm{T}} \mathbf{t}-2 \mathbf{m}_{N}^{\mathrm{T}} \mathbf{A} \mathbf{m}_{N}+\mathbf{m}_{N}^{\mathrm{T}} \mathbf{A} \mathbf{m}_{N}\right) \\
& =\frac{1}{2}\left(\beta \mathbf{t}^{\mathrm{T}} \mathbf{t}-2 \mathbf{m}_{N}^{\mathrm{T}} \mathbf{A} \mathbf{A}^{-1} \mathbf{\Phi}^{\mathrm{T}} \mathbf{t} \beta+\mathbf{m}_{N}^{\mathrm{T}}\left(\alpha \mathbf{I}+\beta \mathbf{\Phi}^{\mathrm{T}} \mathbf{\Phi}\right) \mathbf{m}_{N}\right) \\
& =\frac{1}{2}\left(\beta \mathbf{t}^{\mathrm{T}} \mathbf{t}-2 \mathbf{m}_{N}^{\mathrm{T}} \mathbf{\Phi}^{\mathrm{T}} \mathbf{t} \beta+\beta \mathbf{m}_{N}^{\mathrm{T}} \mathbf{\Phi}^{\mathrm{T}} \mathbf{\Phi} \mathbf{m}_{N}+\alpha \mathbf{m}_{N}^{\mathrm{T}} \mathbf{m}_{N}\right) \\
& =\frac{1}{2}\left(\beta\left(\mathbf{t}-\Phi \mathbf{m}_{N}\right)^{\mathrm{T}}\left(\mathbf{t}-\Phi \mathbf{m}_{N}\right)+\alpha \mathbf{m}_{N}^{\mathrm{T}} \mathbf{m}_{N}\right) \\
& =\frac{\beta}{2}\left\|\mathbf{t}-\Phi \mathbf{m}_{N}\right\|^{2}+\frac{\alpha}{2} \mathbf{m}_{N}^{\mathrm{T}} \mathbf{m}_{N}
\end{align*}

よって、題意は証明された。