線形代数 - 固有値
学習したことを忘れないように残そうかと。
数学的な表現が適切でないかもですが。。。
A \vec{x} = \lambda \vec{x} \\
【固有ベクトル】
\vec{x} \\
【固有値】
\lambda \\
【注】正方行列の場合に求めることができる。
固有ベクトル・固有値の求め方
A \vec{x} = \lambda \vec{x} \\
左辺に項を移動する。
(A - \lambda I) \vec{x} = \vec{0} \\
ここで、I は下記の定義なのでご注意を。
I = \begin{pmatrix}
1 & 0 \\
0 & 1
\end{pmatrix}
例えば、2x2 の固有値を計算する場合を考える。
【対象の行列】
\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}
具体的に計算をすると、
\begin{align}
(A - \lambda I) \vec{x}
&=
\left (
\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}
-
\lambda
\times
\begin{pmatrix}
1 & 0 \\
0 & 1
\end{pmatrix}
\right ) \vec{x} \\
&=
\begin{pmatrix}
1 - \lambda & 4 \\
2 & 3 - \lambda
\end{pmatrix}
\vec{x}
=
\vec{0} \\
\end{align}
行列式を計算する。
(1 - \lambda)(3 - \lambda) - 2 \times 4 = 0 \\
(1 - \lambda)(3 - \lambda) = 2 \times 4 \\
(1 - \lambda)(3 - \lambda) = 8
$ (1 - \lambda)(3 - \lambda) = 8 $ になるような $ \lambda $を計算する。
すると、$ \lambda$ = 5 or -1
$ \lambda$ = 5 の時の $x_1, x_2 $ の関係を求める。
\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}
=
5
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}\\
行列式を求めると
x_1 + 4x_2 = 5x_1\\
\Rightarrow x_1 = x_2 \\
2x_1 + 3x_2 = 5x_2\\
\Rightarrow x_1 = x_2 \\
上記の関係性が求められる。
$ \lambda$ = 5 の時の固有ベクトルは
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}
=
\begin{pmatrix}
1 \\
1
\end{pmatrix}\\
$\lambda$ = -1 の時も同様に計算すると固有ベクトルは下記のようになる。
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}
=
\begin{pmatrix}
2 \\
-1
\end{pmatrix}\\
固有値は一般的にm個ある。
##固有値分解
固有値を対角線上に並べた行列(A)と、それに対応する固有ベクトルを並べた行列(V)を用意すると、下記のような関連がある。
AV = VA
すると、下記関係性が成り立つ。
A = VAV^{-1}
下記行列を固有値分解する事を考える。
\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}
上記で求めた固有値と固有ベクトルの値から
\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}
=
\begin{pmatrix}
1 & 2 \\
1 & -1
\end{pmatrix}
\begin{pmatrix}
5 & 0 \\
0 & -1
\end{pmatrix}
\begin{pmatrix}
1 & 2 \\
1 & -1
\end{pmatrix}
^{-1}
本行列 = (固有ベクトル)($\lambda$の行列(固有値))(固有ベクトルの逆行列)
という関係性が成り立つ。
##特異値分解
正方行列以外でも固有値分解と同様なことはできる。
ただし、下記のような特殊な単位ベクトルがある場合だけ。
$\vec{u}$ と $\vec{v}$ が行列 M と転置行列 $M^\mathsf{T}$ の間に下記の関係があれば、特異値が求められる。
M \vec{v} = \sigma \vec{u} \\
M ^\mathsf{T} \vec{u} = \sigma \vec{v} \\
$\sigma$ : 特異値
$\vec{u}$ : 左特異ベクトル
$\vec{v}$ : 右特異ベクトル
これを数学的に書くと
M = USV^\mathsf{T} \\
下記の関係性がある。
MV = US \\
\Rightarrow M = USV^\mathsf{T} \\
M^\mathsf{T}U = VS^\mathsf{T}\\
\Rightarrow M^\mathsf{T}
= VS^\mathsf{T}U^\mathsf{T} \\
すると、下記のように $V$ と $V^\mathsf{T}$ がなくなる。
MM^\mathsf{T} = USV^\mathsf{T}VS^\mathsf{T}U^\mathsf{T} \\
= USS^\mathsf{T}U^\mathsf{T}
$MM^\mathsf{T}$ を固有値分解すると、左特異ベクトルと特異値の2乗が求められる。
(ポイントは、特異値の2乗と言うこと。)
###実例
下記の特異値を求める。
M =
\begin{pmatrix}
1 & 2 & 3\\
3 & 2 & 1
\end{pmatrix}
####左特異ベクトルを求める。
まず、$MM^\mathsf{T}$ を求める。
MM^\mathsf{T} =
\begin{pmatrix}
1 & 2 & 3\\
3 & 2 & 1
\end{pmatrix}
\begin{pmatrix}
1 & 3\\
2 & 2 \\
3 & 1
\end{pmatrix} \\
=
\begin{pmatrix}
14 & 10\\
10 & 14
\end{pmatrix} \\
固有方程式を解いて固有値を求める。
固有方程式は下記の式。
\begin{vmatrix}
MM^\mathsf{T} - \lambda E
\end{vmatrix} = 0\\
これを固有値分解する。
$\lambda$ は 24,4になるんです。
地道に計算すると。。。
\begin{pmatrix}
14 & 10\\
10 & 14
\end{pmatrix}
=
\begin{pmatrix}
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}
\end{pmatrix}
\begin{pmatrix}
24 & 0\\
0 & 4
\end{pmatrix}
\begin{pmatrix}
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}
\end{pmatrix}^{-1}
ここで、実は
\begin{pmatrix}
24 & 0\\
0 & 4
\end{pmatrix}
って、特異値の2乗なんですよね。
よって、平方根をとると特異値が出てきて、$\sqrt{24} = 2\sqrt{6}と、\sqrt{ 4} = 2$になるわけでして。
$2\sqrt{6}$に属する左特異ベクトルは1列目の
\begin{pmatrix}
\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}
\end{pmatrix}
= \frac{1}{\sqrt{2}}
\begin{pmatrix}1\\1\end{pmatrix}
2に属する左特異ベクトルは2列目の
\begin{pmatrix}
-\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}
\end{pmatrix}
= \frac{1}{\sqrt{2}}
\begin{pmatrix}-1\\1\end{pmatrix}
になるんですね〜。
右特異ベクトルを求めると、0 と言う特異値が求められます。
「左特異ベクトルの計算時、特異値に 0ないじゃん！」と、思いますが、0に属する特異ベクトルは
\begin{pmatrix}0\\0\end{pmatrix}
になるんですね。
だって、ないんだもん。
(ホントかなぁ。。。)
####右特異ベクトルを求める。
次に$M^\mathsf{T}M$を求める。
M^\mathsf{T}M =
\begin{pmatrix}
1 & 3\\
2 & 2 \\
3 & 1
\end{pmatrix}
\begin{pmatrix}
1 & 2 & 3\\
3 & 2 & 1
\end{pmatrix}
=
\begin{pmatrix}
10 & 8 & 6\\
8 & 8 & 8 \\
6 & 8 & 10
\end{pmatrix}
これを固有値分解する。
$\lambda$(特異値の二乗)は 24,4,0。
なので、
\begin{pmatrix}
10 & 8 & 6\\
8 & 8 & 8 \\
6 & 8 & 10
\end{pmatrix} \\
=
\begin{pmatrix}
\frac{1}{\sqrt{3}} & \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}} \\
\frac{1}{\sqrt{3}} & 0 & -\frac{2}{\sqrt{6}}\\
\frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}}
\end{pmatrix}
\begin{pmatrix}
24 & 0 & 0\\
0 & 4 & 0 \\
0 & 0 & 0
\end{pmatrix}
\begin{pmatrix}
\frac{1}{\sqrt{3}} & \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}} \\
\frac{1}{\sqrt{3}} & 0 & -\frac{2}{\sqrt{6}}\\
\frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}}
\end{pmatrix}^{-1}
具体的な手順は、下記に記述していただいた内容が、わかりやすいかと。
特異値の概念が、なかなか難しいなぁと。。。
しかし、手計算だとなかなか、手間がかかりますよね。。。