##問題
二乗和誤差関数を考える.
\begin{align*}
\mathrm{E=\frac{1}{2}\iint\bigl\{y(x,w)-t\bigr\}^2p(x,t)dxdt}
\tag{5.193}
\end{align*}
ここで$\mathrm{y(x,w)}$はニューラルネットワークのようなパラメトリックな関数である. (1.89)の結果はこの誤差を最小化する関数$\mathrm{y(x,w)}$が$\mathbf{x}$が与えられたときの$\mathbf{t}$の条件付き期待値で与えられていることを示している.
\begin{align*}
\mathrm{y(x)=\frac{{\int}tp(x,t)dt}{p(x)}={\int}tp(t|x)dt=E_t[t|x]}
\tag{1.89}
\end{align*}
この結果を使って, ベクトル$\mathbf{w}$の2つの要素$\mathbf{w_r}$と$\mathbf{w_s}$に関する$\mathbf{E}$の2階微分が
\begin{align*}
\mathrm{\frac{{\partial}^2E}{{\partial}w_r{\partial}w_s}=\int\frac{{\partial}y}{{\partial}w_r}\frac{{\partial}y}{{\partial}w_s}p(x)dx}
\tag{5.194}
\end{align*}
で与えられることを示せ.ここで, $\mathrm{p(x)}$から有限個サンプリングする場合には(5.84)が得られることに注意せよ.
\begin{align*}
\mathrm{H=\nabla\nabla{E}=\sum^N_{n=1}\nabla{y_n}(\nabla{y_n})^T+\sum^N_{n=1}(y_n-t_n)\nabla\nabla{y_n}}
\tag{5.83}\\
\end{align*}
(5.83)の第2項以降を無視した式が(5.84)である.
\begin{align*}
\mathrm{H\simeq\sum^N_{n=1}b_nb_n^T}
\tag{5.84}
\end{align*}
##方針
まず(5.193)を$\mathbf{w}$の2つの要素$\mathbf{w_r}$と$\mathbf{w_s}$に関する$\mathbf{E}$の2階微分をとり, (5.194)に帰着することを示す.
##解答
・(5.193)から(5.194)の導出
\begin{align*}
\mathrm{E}&=\mathrm{\frac{1}{2}\iint\bigl\{y(x,w)-t\bigr\}^2p(x,t)dxdt}\\
まずは\mathbf{w_r}で微分する.\\
\\
\mathrm{\frac{\partial{E}}{\partial{w_r}}}&=\mathrm{\frac{1}{2}{\iint}\frac{\partial}{\partial{w_r}}\bigl\{(y-t)^2p(x,t)\bigr\}dxdt}\\
&=\mathrm{\frac{1}{2}{\iint}\frac{\partial{y}}{\partial{w_r}}\frac{\partial}{\partial{y}}\bigl\{(y-t)^2p(x,t)\bigr\}dxdt}\\
ここで\mathrm{\frac{\partial}{\partial{y}}}を実行\\
\\
&=\mathrm{\iint\frac{\partial{y}}{\partial{w_r}}(y-t)p(x,t)dxdt}\\
つぎに\mathbf{w_s}で微分する. 式変形は\mathbf{w_r}で微分した時と同じ\\
\\
\mathrm{\frac{\partial{E}}{\partial{w_r}\partial{w_s}}}&=\mathrm{\iint\frac{\partial{y}}{\partial{w_r}}\frac{\partial{y}}{\partial{w_s}}p(x,t)dxdt}\\
\\
ここで\mathrm{t}で積分することで\mathrm{p(x,t)}の\mathrm{x}軸への周辺確率を計算する.\\
\\
\mathrm{\frac{\partial{E}}{\partial{w_r}\partial{w_s}}}&=\mathrm{\int\frac{\partial{y}}{\partial{w_r}}\frac{\partial{y}}{\partial{w_s}}p(x)dx}
\end{align*}
以上より(5.193)を$\mathbf{w}$の2つの要素$\mathbf{w_r}$と$\mathbf{w_s}$に関する$\mathbf{E}$の2階微分をとることで(5.194)が得られることが示された.