正則化最小二乗法
一般的に学習データに対する誤差関数を最小化するように学習しますが、
これだけでは細かくフィッティングした複雑なモデルが生成され、過学習が起こります。
過学習を防ぐために誤差関数に正則化項を加える。
正則化された最小二乗法（Regularized Least Squares）における誤差関数を定義しています。この誤差関数は、データ依存の誤差項と正則化項の和として表されます。
E_D(w) + \lambda E_W(w)
$E_D$を二乗和誤差関数を下の式を用いる。
E_D(w) = \frac{1}{2} \sum_{n=1}^{N} \{ t_n - w^T\phi(x_n)\}^2
誤差関数の全体を
\frac{1}{2} \sum_{n=1}^{N} \{ t_n - w^T\phi(x_n)\}^2 + \frac{\lambda}{2}w^Tw
wに関する勾配を求めてから０とおきwについて解けば
0 = -\sum_{n=1}^{N} \{ t_n - w^T\phi(x_n)\}\phi(x_n)^T + \lambda w
0 = \sum_{n=1}^{N}t_n\phi(x_n)^T - w^T\sum_{n=1}^{N}\phi(x_n)\phi(x_n)^T - \lambda w
0 = t \Phi^\top - w^T\Phi^\top \Phi - \lambda w
w^T\Phi^\top \Phi + \lambda w = t \Phi^\top
w = (\Phi^\top \Phi + \lambda I)^{-1} \Phi^\top t
このように解けます。