問題
停留点$\mathbf{w} ^ {\star} $のまわりでの誤差関数のテイラー展開(5.32)を考えることで、停留点が誤差関数の局所的極小点であることの必要十分条件は、(5.30)で定義されるヘッセ行列$\mathbf{H}$が正定値であることを示せ。ただし、$\hat{\mathbf{w}}$ $= \mathbf{w} ^ {\star}$である。
参考
正定値
行列$\mathbf{H}$はすべての$\mathbf{v} \neq \mathbf{0}$に対して$\mathbf{v^THv} > 0$を満たすとき、またそのときに限り正定値であると言われる。(PRML本文より)
誤差関数のテイラー展開
\begin {align*}
E(\mathbf{w}) \simeq E\left(\mathbf{w}^{\star}\right)+\frac{1}{2}\left(\mathbf{w}-\mathbf{w}^{\star}\right)^{\mathrm{T}} \mathbf{H}\left(\mathbf{w}-\mathbf{w}^{\star}\right)
\tag{5.32}
\end {align*}
解答
- ヘッセ行列$\mathbf{H}$が正定値である時に停留点が誤差関数の局所的極小点であることの証明
ヘッセ行列$\mathbf{H}$が正定値であるならば
\begin {align*}
\left(\mathbf{w}-\mathbf{w}^{\star}\right)^{\mathrm{T}} \mathbf{H}\left(\mathbf{w}-\mathbf{w}^{\star}\right) > 0
\end {align*}
が成り立つ。そのため(5.32)において
\begin {align*}
E(\mathbf{w}) - E\left(\mathbf{w}^{\star}\right) \simeq \frac{1}{2}\left(\mathbf{w}-\mathbf{w}^{\star}\right)^{\mathrm{T}} \mathbf{H}\left(\mathbf{w}-\mathbf{w}^{\star}\right) > 0
\end {align*}
が成り立つ。このことから停留点は誤差関数の局所的極小点であることがいえる。
- 停留点が誤差関数の局所的極小点である時にヘッセ行列$\mathbf{H}$が正定値であることの証明
停留点が誤差関数の局所的極小点であるならば
\begin {align*}
E(\mathbf{w}) - E\left(\mathbf{w}^{\star}\right) \simeq \frac{1}{2}\left(\mathbf{w}-\mathbf{w}^{\star}\right)^{\mathrm{T}} \mathbf{H}\left(\mathbf{w}-\mathbf{w}^{\star}\right) > 0
\end {align*}
が成り立つため、
\begin {align*}
\left(\mathbf{w}-\mathbf{w}^{\star}\right)^{\mathrm{T}} \mathbf{H}\left(\mathbf{w}-\mathbf{w}^{\star}\right) > 0
\end {align*}
が言える。この時$\mathbf{w}-\mathbf{w}^{\star}$は任意のベクトルを表すことができるため、
行列$\mathbf{H}$はすべての$\mathbf{v} \neq \mathbf{0}$に対して$\mathbf{v^THv} > 0$を満たすといえる。よって行列$\mathbf{H}$は正定値である。