問題
正則化された二乗和誤差方程式(1.4)を最小にする係数$\mathbf{ w_i }$が満たす(1.122)に類似した線形方程式を書き下せ
$$
\begin{align*}
\mathrm{ \sum^M_{j = 0}A_{ij}w_i} = \mathrm{T_i}\tag{1.122}
\end{align*}
$$
方針
最小値をとりうる$\mathbf{ w_i }$に関する問題なので、まずは与えられる式を$\mathbf{ w_i }$で偏微分し、導関数=0となることをもちいて式を整理する.その後(1.123)で与えられた条件式で表現し直す.
演習1.1
演習1.1の類題であるのでまずは演習1.1をといてみる
演習1.1 問題
関数$\mathbf{y}$($\mathbf{x}$,$\mathbf{w}$)が多項式(1.1)で与えられた時の(1.2)の二乗和誤差関数を考える.
この誤差関数を最小にする係数$\mathbf{ w }$ = {$\mathbf{ w_i }$}は以下の線形方程式の解として与えられることを示せ.
\begin{align*}
\mathrm{y(x,w)} = \mathrm{{\sum^M_j}{w_j}{x^j}}\tag{1.1}
\end{align*}
\begin{align*}
\mathrm{E(w)} = \mathrm{\frac{1}{2}\sum^N_{n = 1}} \bigl\{\mathrm{y(x_n,w) - t_n}\bigr\}^2 \tag{1.2}
\end{align*}
与えられた線形方程式は(1.122)と(1.123)
\begin{align*}
\mathrm{ \sum^M_{j = 0}A_{ij}w_i} = \mathrm{T_i}\tag{1.122}
\end{align*}
\begin{align*}
\mathrm{A_{ij} = \sum^N_{n = 1}(x_n)^{i+j}}
\tag{1.123}
\end{align*}
\begin{align*}
\mathrm{T_i} = \sum^N_{n = 1}(x_n)^{i}t_n
\tag{1.123}
\end{align*}
与えられた二乗和誤差関数の式にまず(1.1)を代入して$\mathbf{w_i}$で偏微分し導関数=$\mathrm{0}$とおく
\begin{align}
\mathrm{E(w)} &= \mathrm{\frac{1}{2}\sum^N_{n = 1}} \bigl\{\mathrm{y(x_n,w) - t_n}\bigr\}^2 \\
&= \mathrm{\frac{1}{2}\sum^N_{n = 1}}\bigl\{\mathrm{\sum^M_{j = 0}x_n^jw_j^n-t_n\bigr\}^2} \\
\mathrm{\frac{\partial E(w)}{\partial w_i}}&=\mathrm{\sum^N_{n-1}\Bigl\{\sum^M_{j=0}w_ix^j_n-t_n\Bigr\}x^i_n}\\
0&=\mathrm{\sum^N_{n = 1}\sum^M_{j = 0}w_jx_n^{i+j}-\sum^N_{n=1}t_nx_n^i}
\end{align}
したがって
\begin{align}
\mathrm{\sum^N_{n = 1}\sum^M_{j = 0}w_jx_n^{i+j}=\sum^N_{n=1}t_nx_n^i}
\end{align}
よってあたえられた線形方程式が示された。
演習1.2
次に演習1.2を考える
与えられた二乗和誤差関数(1.4)は以下
\begin{align*}
\mathrm{\tilde{E}(w)}=\mathrm{\frac{1}{2}\Bigl\{y(x_n,w)-t_n\bigr\}^2+\frac{\lambda}{2}\parallel{w}\parallel^2}\tag{1.4}
\end{align*}
ただし$\mathrm{\parallel{w}\parallel^2\equiv}$ $\mathbf{ww^T}$=$\mathrm{w_0^2+w_1^2+w_2^2・・・w_M^2}$である
演習(1.1)と同様に二乗和誤差関数に(1.1)を代入して$\mathbf{w_i}$で偏微分し導関数=$\mathrm{0}$とおく
\begin{align}
\mathrm{\tilde{E}(w)}=\mathrm{\frac{1}{2}\Bigl\{\sum^M_{j=0}w^jx_n^j-t_n\bigr\}^2+\frac{\lambda}{2}\parallel{w}\parallel^2}
\end{align}
よって
\begin{align}
\mathrm{\frac{\partial{\tilde{E}(w)}}{\partial w_i}}&=\mathrm{\sum^N_{n-1}\Bigl\{\sum^M_{j=0}w^jx_n^j-t_n\Bigr\}^2+\lambda{w_i}}\\
0&=\sum^N_{n=1}\sum^M_{j=0}w_jx_n^j・x_n^i-\sum^N_{n=1}t_nx_n^i+\lambda w_i
\end{align}
したがって
\begin{align}
\mathrm{\sum^N_{n=1}t_nx_n^i}=\sum^N_{n=1}\sum^M_{j=0}w_jx_n^{i+j}+\lambda w_i
\end{align}
左辺$\mathrm{=T_i}$、右辺第1項$\mathrm{=\sum^M_{j=0}A_{ij}}$より以下の線形方程式が得られる
\begin{align}
\mathrm{\sum^M_{j=0}A_{ij}+\lambda w_i = T_i}
\end{align}