問題
固有方程式 (5.33) を持つヘッセ行列 $\mathbf{H}$ を考える。全ての固有値が正であるとき、またそのときに限り $\mathbf{H}$ は正定値であることを示せ。
方針
基本的には、教科書本文に記載のある、以下の式などを用いて証明します。
\begin{align*}
\mathbf{H u}_{i}=\lambda_{i} \mathbf{u}_{i}
\tag{5.33}
\end{align*}
\begin{align*}
\mathbf{u}_{i}^{\mathrm{T}} \mathbf{u}_{j}=\delta_{i j}
\tag{5.34}
\end{align*}
\begin{align*}
\mathbf{v}=\sum_{i} c_{i} \mathbf{u}_{i}
\tag{5.38}
\end{align*}
(5.33)に示されている通り、$\mathbf{u}_{i}$ は $\mathbf{H}$ の固有ベクトルです。
$\mathbf{u}_{i}$ は、正規直交系であるため、（5.34）が成り立ち、
また(5.38)のように、任意のベクトル$\mathbf{v}$ は $\mathbf{u}_{i}$ の線形結合で表されることなどに注意します。
解答
(5.33)、(5.34)より、
\begin{align*}
\mathbf{u}_{i}^{\mathrm{T}} \mathbf{H} \mathbf{u}_{i}=\mathbf{u}_{i}^{\mathrm{T}} \lambda_{i} \mathbf{u}_{i}=\lambda_{i}
\tag{1}
\end{align*}
$\mathbf{H}$ が正定値の時、
\begin{align*}
\mathbf{v}^{\mathrm{T}} \mathbf{H} \mathbf{v}>0 \quad \text { for all } \mathbf{v}
\tag{5.37}
\end{align*}
が成り立つ。
この時、$\mathbf{v} = \mathbf{u}_{i}$ とすると、式(1)より、
\begin{align*}
\lambda_{i}=\mathbf{u}_{i}^{\mathrm{T}} \mathbf{H} \mathbf{u}_{i}>0
\tag{2}
\end{align*}
よって、$\mathbf{H}$ が正定値の時、全ての固有値は正となる。
次に、全ての固有値が正である場合を考える。
この時、任意のベクトル $\mathbf{v}$ に対して、(5.33)、(5.34)、(5.38)より、
\begin{align*}
\mathbf{v}^{\mathrm{T}} \mathbf{H} \mathbf{v} &=\left(\sum_{i} c_{i} \mathbf{u}_{i}\right)^{\mathrm{T}} \mathbf{H}\left(\sum_{j} c_{j} \mathbf{u}_{j}\right) \\
&=\left(\sum_{i} c_{i} \mathbf{u}_{i}\right)^{\mathrm{T}}\left(\sum_{j} \lambda_{j} c_{j} \mathbf{u}_{j}\right) \\
&=\sum_{i} \lambda_{i} c_{i}^{2}>0
\end{align*}
よって、固有値が全て正である時、$\mathbf{H}$ は正定値である。
以上より、題意は示された。