1.固有値と固有ベクトル
ある行列$\boldsymbol A$に対して、以下のような式が成り立つような、
特殊なベクトル$\vec{x}$と、右辺の係数$ \lambda $がある。
$$ \boldsymbol A \vec{x} = \boldsymbol \lambda \vec{x} $$
行列$\boldsymbol A$とその特殊なベクトル$\vec{x}$の積は、ただのスカラーの数$\lambda $と
その特殊なベクトル$\vec{x}$との積と同じ値になる。
この特殊なベクトル$\vec{x}$とその係数$\lambda$を、行列に対する、
「固有ベクトル」、「固有値」という。
\begin{eqnarray*}
\begin{pmatrix}
1&4 \\
2&3
\end{pmatrix}
\begin{pmatrix}
1\\
1
\end{pmatrix}
&=&
\begin{pmatrix}
5\\
5
\end{pmatrix} \\
&=&
5
\begin{pmatrix}
1\\
1
\end{pmatrix}
\end{eqnarray*}
上記、もともと「1,1」だったベクトルが「5,5」というベクトルに変換されている。
行列で変換しているが、計算結果を見ると、どちらのベクトルも５倍した様に見える。
したがって、
5
\begin{pmatrix}
1\\
1
\end{pmatrix}
と見ることができる。
このような場合、固有値λ=5
固有ベクトル(のうちの一つ）
\vec{x}
=
\begin{pmatrix}
1\\
1
\end{pmatrix}
となる。
※(のうちの一つ）と記載しているのは、
固有ベクトルの上下が同じ数（比率）の物は全て固有ベクトルと言える。
\begin{eqnarray}
A \vec{x} &=& \lambda \vec{x} \\
(A - \lambda I ) \vec{x} &=& \vec{0} \\
\vec{x} &\neq& \vec{0} より
\end{eqnarray}
$\boldsymbol{A}$からλを引けば良いが、「λ」とはただの定数のため、$\boldsymbol{I}$（単位行列）を掛けてあげて、
$\lambda \boldsymbol{I}$として引いてあげる。
また、右辺はただの 「0」ではなく、「$\vec{0}$」となる。
ここで行列式を使用して、行列式が「０」の場合を探す。
例）
\begin{eqnarray}
\begin{vmatrix}
A - \lambda I
\end{vmatrix}
& = &
0 \\
\begin{vmatrix}
1-\lambda & 4 \\
2 & 3-\lambda
\end{vmatrix}
& = &
0 \\
(1-\lambda)(3-\lambda)-4・2 & = & 0 \\
\lambda & = & 5 or -1
\end{eqnarray}
このように固有値の方が先に判明する。
固有値が判明したら、次に固有ベクトルを求めていく。
・固有値が５のとき
\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}
=
5
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix} \\
これを解くと、\\
x_1 = x_2
・固有値が-1のとき
\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}
=
-1
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix} \\
これを解くと、\\
x_1 = -2x_2
従って、
\begin{eqnarray}
λ＝５のとき、\vec{x}&=&\begin{pmatrix} 1 \\ 1 \end{pmatrix}の定数倍\\
λ＝−１のとき、\vec{x}&=&\begin{pmatrix} 2 \\ -1 \end{pmatrix}の定数倍
\end{eqnarray}
となる。
2.固有値分解
ある実数を正方形に並べて作られた行列$\boldsymbol{A}$が
固有値$\lambda_1$,$\lambda_2$,・・・と
固有ベクトル$\vec{v_1}$,$\vec{v_2}$・・・を持ったとする。
この固有値を対角線上に並べた行列（それ以外の成分は０）
\Lambda
=
\begin{pmatrix}
\lambda_1 & & \\
& \lambda_2 & \\
& & \ddots
\end{pmatrix}
と、それに対応する固有ベクトルを並べた行列
\boldsymbol{V}
=
\begin{pmatrix}
& & \\
\vec{v_1}& \vec{v_2} & \ldots \\
& &
\end{pmatrix}
を用意した時、それらは
$$ AV = V\Lambda $$
と関係づけられる。従って、
$$ A = V\Lambda V^{-1} $$
と変形できる。
このように正方形の行列を上記のような、3つの行列の積に変換することを
「固有値分解」という。
この変換によって行列の累乗の計算が容易になる等の利点がある。
\begin{pmatrix}
1 & 4\\
2 & 3
\end{pmatrix}
=
\begin{pmatrix}
1 & 1\\
1 & -\frac{1}{2}
\end{pmatrix}
\begin{pmatrix}
5 & 0\\
0 & -1
\end{pmatrix}
\begin{pmatrix}
\frac{1}{3} & \frac{2}{3}\\
\frac{2}{3} & -\frac{2}{3}
\end{pmatrix}
この時、行列$\boldsymbol{V}$は定数倍の行列なので、1つに定まることはないが、
行列$\boldsymbol{V}$が変化することによって、
逆行列$\boldsymbol{V^{-1}}$が変化するので、本質的には、固有値を見る事になる。
3.特異値分解
・正方行列以外は固有値分解できるのか？→似たことはできる。
$$ \boldsymbol{M} \vec{v} = \sigma \vec{u} $$
$$ \boldsymbol{M}^{\mathrm{T}} \vec{u} = \sigma \vec{v} $$
・このような特殊な単位ベクトルがあるならば、特異値分解できる。
\boldsymbol{M} = \boldsymbol{U} \boldsymbol{S}
\boldsymbol{V}^{\mathrm{T}} \\
※ただしUやVは直行行列（複素数を要素に持つ場合はユニタリ行列）
・公式
\boldsymbol{M}\boldsymbol{V} = \boldsymbol{U} \boldsymbol{S}
\boldsymbol{M}^{\mathrm{T}}\boldsymbol{U} = \boldsymbol{V}
\boldsymbol{S}^{\mathrm{T}}
\boldsymbol{M} = \boldsymbol{U}\boldsymbol{S}
\boldsymbol{V}^{\mathrm{T}}
\boldsymbol{M}^{\mathrm{T}} = \boldsymbol{V}\boldsymbol{S}^{\mathrm{T}}
\boldsymbol{U}^{\mathrm{T}} \\
上記、公式1行目・2行目はは特異値分解で記した式を行列にしたもの。
3行目・4行目は1行目・2行目の「$\boldsymbol{M}$、$\boldsymbol{M}^{\mathrm{T}}$」の形に変形したもの。
これらの積をとると
\boldsymbol{M} \boldsymbol{M}^{\mathrm{T}} =
\boldsymbol{U} \boldsymbol{S} \boldsymbol{V}^{\mathrm{T}}
\boldsymbol{V} \boldsymbol{S}^{\mathrm{T}}
\boldsymbol{U}^{\mathrm{T}}
=
\boldsymbol{U} \boldsymbol{S} \boldsymbol{S}^{\mathrm{T}}
\boldsymbol{U}^{\mathrm{T}}
上記のように表すことができる。
真ん中の$\boldsymbol{V}$は$\boldsymbol{V}^{\mathrm{T}}$とで打ち消し合い、
右の式が出来上がる。
一番右の式はまるで固有値分解で出てきた、「$ A = V\Lambda V^{-1} $ 」の式と
類似しており、固有値分解しているように見える。
発想の原点は「$\boldsymbol{M}\boldsymbol{M}^{\mathrm{T}}$」にある。
もともと長方形の$\boldsymbol{M}$に、転置(縦横を逆転）させた
「$\boldsymbol{M}^{\mathrm{T}}$」を掛け合わせると、正方形になる。
つまり「$\boldsymbol{M}\boldsymbol{M}^{\mathrm{T}}$」を固有値分解すれば、
その左特異ベクトル(ただし単位ベクトルから作らなければならないこと）
と特異値の2乗が求められることがわかる。
\boldsymbol{M}
=
\begin{pmatrix}
1 & 2 & 3\\
3 & 2 & 1
\end{pmatrix}
上記のような行列があったとする。
まずは、「$\boldsymbol{M}$」と「$\boldsymbol{M}^{\mathrm{T}}$」を掛ける。
\boldsymbol{M}\boldsymbol{M}^{\mathrm{T}}
=
\begin{pmatrix}
1 & 2 & 3\\
3 & 2 & 1
\end{pmatrix}
\begin{pmatrix}
1 & 3\\
2 & 2\\
3 & 1
\end{pmatrix}
=
\begin{pmatrix}
14 & 10\\
10 & 14
\end{pmatrix}
すると、2×3だった行列が2×2の行列になる。
この、2×2の行列を固有値分解する。
\begin{pmatrix}
14 & 10\\
10 & 14
\end{pmatrix}
=
\begin{pmatrix}
1&1\\
1&-1
\end{pmatrix}
\begin{pmatrix}
24&0\\
0&4
\end{pmatrix}
\begin{pmatrix}
1&1\\
1&-1
\end{pmatrix}
となる。