はじめに
本記事は, 機械学習の教科書の決定版ともいえる, Christopher Bishop先生による『Pattern Recognition and Machine Learning （パターン認識と機械学習）』, 通称PRMLの演習問題のうち, 私が解いた問題の解答を記したものです
今回は演習5.11の証明です
問題
(5.32)で定義される誤差関数
E(\mathbf{w})=E\left(\mathbf{w}^{\star}\right)+\frac{1}{2}\left(\mathbf{w}-\mathbf{w}^{\star}\right)^{\mathrm{T}} \mathbf{H}\left(\mathbf{w}-\mathbf{w}^{\star}\right)\quad(\text { 5.32 }) \\
を考えます。
ヘッセ行列が(5.33)で与えられる
\mathbf{H u}_{i}=\lambda_{i} \mathbf{u}_{i}\quad(\text { 5.33 }) \\
という固有値を持つとき、
誤差一定の等高線は方向が固有ベクトル$u_{i}$であり長さが対応する固有値$\lambda_{i}$の平方根の逆数であるような軸を持つ楕円であることを示します
解答
まずは (5.35)で与えられる変数の変換をして、
\mathbf{w}-\mathbf{w}^{\star}=\sum_{i} \alpha_{i} \mathbf{u}_{i}\quad(\text { 5.35 }) \\
(5.36)の形に書き換えます
E(\mathbf{w})=E\left(\mathbf{w}^{\star}\right)+\frac{1}{2} \sum_{i} \lambda_{i} \alpha_{i}^{2}\quad(\text { 5.36 }) \\
(この変形は教科書でも説明されています)
問題の条件より等高線なので
$E(\mathbf{w})$を定数$C$と置くと
E\left(\mathbf{w}^{\star}\right)+\frac{1}{2} \sum_{i} \lambda_{i} \alpha_{i}^{2}=C
変形すると
\sum_{i} \lambda_{i} \alpha_{i}^{2}=2 C-2 E\left(\mathbf{w}^{\star}\right)=\widetilde{C}
$\widetilde{C}$ は定数
これは変数 ${\alpha_{i}}$よって記述された座標に表現される楕円の方程式で
全ての$i \neq j$について$\alpha_{i}=0$と設定することで軸$j$の長さが決定されます
$\alpha_{j}$をとくと
\alpha_{j}=\left(\frac{\widetilde{C}}{\lambda_{j}}\right)^{1 / 2}
軸の長さが確かに対応する固有値の平方根に反比例することがわかります
よって題意は示された。
参考:https://www.microsoft.com/en-us/research/wp-content/uploads/2016/05/prml-web-sol-2009-09-08.pdf