ラビットチャレンジ Stage1 応用数学 線形代数(固有値) レポート

#1.固有値と固有ベクトル

固有ベクトルと固有値

　ある行列$\boldsymbol A$に対して、以下のような式が成り立つような、 　特殊なベクトル$\vec{x}$と、右辺の係数$ \lambda $がある。

$$ \boldsymbol A \vec{x} = \boldsymbol \lambda \vec{x} $$

　行列$\boldsymbol A$とその特殊なベクトル$\vec{x}$の積は、ただのスカラーの数$\lambda $と
　その特殊なベクトル$\vec{x}$との積と同じ値になる。

　この特殊なベクトル$\vec{x}$とその係数$\lambda$を、行列に対する、
　「固有ベクトル」、「固有値」という。

具体例

 \begin{eqnarray*}
  \begin{pmatrix}
    1&4 \\
    2&3
  \end{pmatrix}
  \begin{pmatrix}
    1\\
    1
  \end{pmatrix}
  &=&
  \begin{pmatrix}
    5\\
    5
  \end{pmatrix} \\
  &=&
  5
  \begin{pmatrix}
   1\\
   1
  \end{pmatrix}
\end{eqnarray*}

　上記、もともと「1,1」だったベクトルが「5,5」というベクトルに変換されている。
　行列で変換しているが、計算結果を見ると、どちらのベクトルも５倍した様に見える。
　したがって、

  5
  \begin{pmatrix}
    1\\
    1
  \end{pmatrix}

　と見ることができる。
　
　このような場合、固有値λ=5
　 固有ベクトル(のうちの一つ）

  \vec{x}
  =
  \begin{pmatrix}
    1\\
    1
  \end{pmatrix}

　となる。
　※(のうちの一つ）と記載しているのは、
　　固有ベクトルの上下が**同じ数（比率）**の物は全て固有ベクトルと言える。

固有値・固有ベクトルの求め方

 \begin{eqnarray}
   A \vec{x} &=& \lambda \vec{x} \\
   (A - \lambda I ) \vec{x} &=& \vec{0} \\
   \vec{x} &\neq& \vec{0} より
 \end{eqnarray}

　$\boldsymbol{A}$からλを引けば良いが、「λ」とはただの定数のため、$\boldsymbol{I}$（単位行列）を掛けてあげて、
　$\lambda \boldsymbol{I}$として引いてあげる。
　また、右辺はただの 「0」ではなく、「$\vec{0}$」となる。
　ここで行列式を使用して、行列式が「０」の場合を探す。
　例）

\begin{eqnarray}
 \begin{vmatrix}
  A - \lambda I 
 \end{vmatrix}
 & = &
  0 \\
 \begin{vmatrix}
  1-\lambda & 4 \\
   2 & 3-\lambda
 \end{vmatrix}
 & = &
  0 \\
(1-\lambda)(3-\lambda)-4・2 & = & 0 \\
\lambda & = & 5　or -1
\end{eqnarray}

　このように固有値の方が先に判明する。
　固有値が判明したら、次に固有ベクトルを求めていく。

　・固有値が５のとき

  \begin{pmatrix}
    1 & 4 \\
    2 & 3
  \end{pmatrix}
  \begin{pmatrix}
    x_1 \\
    x_2
  \end{pmatrix}
  =
  5
  \begin{pmatrix}
   x_1 \\
   x_2
  \end{pmatrix} \\
これを解くと、\\
  x_1 = x_2

　・固有値が-1のとき

  \begin{pmatrix}
    1 & 4 \\
    2 & 3
  \end{pmatrix}
  \begin{pmatrix}
    x_1 \\
    x_2
  \end{pmatrix}
  =
  -1
  \begin{pmatrix}
   x_1 \\
   x_2
  \end{pmatrix} \\
これを解くと、\\
  x_1 = -2x_2

　従って、

 \begin{eqnarray}
　λ＝５のとき、\vec{x}&=&\begin{pmatrix} 1 \\ 1 \end{pmatrix}の定数倍\\
　λ＝−１のとき、\vec{x}&=&\begin{pmatrix} 2 \\ -1 \end{pmatrix}の定数倍
 \end{eqnarray}

　となる。

#2.固有値分解

固有値分解

　ある実数を正方形に並べて作られた行列$\boldsymbol{A}$が 　固有値$\lambda_1$,$\lambda_2$,・・・と 　固有ベクトル$\vec{v_1}$,$\vec{v_2}$・・・を持ったとする。 　この固有値を対角線上に並べた行列（それ以外の成分は０）

 \Lambda 
 =
 \begin{pmatrix}
  \lambda_1 &　& \\
  　& \lambda_2 &　\\
  　&　& \ddots
 \end{pmatrix}

　と、それに対応する固有ベクトルを並べた行列

 \boldsymbol{V} 
 =
 \begin{pmatrix}
 　&　& \\
  \vec{v_1}& \vec{v_2} & \ldots　\\
  　&　&　
 \end{pmatrix}

　を用意した時、それらは

$$ AV = V\Lambda $$

　と関係づけられる。従って、

$$ A = V\Lambda V^{-1} $$

　と変形できる。
　このように正方形の行列を上記のような、3つの行列の積に変換することを
　「固有値分解」という。
　この変換によって行列の累乗の計算が容易になる等の利点がある。

具体例

  \begin{pmatrix}
   1 & 4\\
   2 & 3
  \end{pmatrix}
  =
  \begin{pmatrix}
   1 & 1\\
   1 & -\frac{1}{2}
  \end{pmatrix}
  \begin{pmatrix}
   5 & 0\\
   0 & -1
  \end{pmatrix}
  \begin{pmatrix}
   \frac{1}{3} & \frac{2}{3}\\
   \frac{2}{3} & -\frac{2}{3}
  \end{pmatrix}

　この時、行列$\boldsymbol{V}$は定数倍の行列なので、1つに定まることはないが、
　行列$\boldsymbol{V}$が変化することによって、
　逆行列$\boldsymbol{V^{-1}}$が変化するので、本質的には、固有値を見る事になる。

#3.特異値分解

特異値分解

　・正方行列以外は固有値分解できるのか？→似たことはできる。

$$ \boldsymbol{M} \vec{v} = \sigma \vec{u} $$

$$ \boldsymbol{M}^{\mathrm{T}} \vec{u} = \sigma \vec{v} $$

　・このような特殊な単位ベクトルがあるならば、特異値分解できる。

 \boldsymbol{M} = \boldsymbol{U} \boldsymbol{S}
 \boldsymbol{V}^{\mathrm{T}} \\

　　　　　　　　　※ただしUやVは直行行列（複素数を要素に持つ場合はユニタリ行列）

特異値の求め方

　・公式

 \boldsymbol{M}\boldsymbol{V} = \boldsymbol{U} \boldsymbol{S}

 \boldsymbol{M}^{\mathrm{T}}\boldsymbol{U} = \boldsymbol{V}
 \boldsymbol{S}^{\mathrm{T}}

 \boldsymbol{M} = \boldsymbol{U}\boldsymbol{S} 
 \boldsymbol{V}^{\mathrm{T}}

 \boldsymbol{M}^{\mathrm{T}} = \boldsymbol{V}\boldsymbol{S}^{\mathrm{T}} 
 \boldsymbol{U}^{\mathrm{T}} \\

　　上記、公式1行目・2行目はは特異値分解で記した式を行列にしたもの。
　　3行目・4行目は1行目・2行目の「$\boldsymbol{M}$、$\boldsymbol{M}^{\mathrm{T}}$」の形に変形したもの。

　　これらの積をとると

 \boldsymbol{M} \boldsymbol{M}^{\mathrm{T}} =
 \boldsymbol{U} \boldsymbol{S} \boldsymbol{V}^{\mathrm{T}}
 \boldsymbol{V} \boldsymbol{S}^{\mathrm{T}} 
 \boldsymbol{U}^{\mathrm{T}}
 =
 \boldsymbol{U} \boldsymbol{S} \boldsymbol{S}^{\mathrm{T}}
 \boldsymbol{U}^{\mathrm{T}}

　　上記のように表すことができる。
　　真ん中の$\boldsymbol{V}$は$\boldsymbol{V}^{\mathrm{T}}$とで打ち消し合い、
　　右の式が出来上がる。
　　一番右の式はまるで固有値分解で出てきた、「$ A = V\Lambda V^{-1} $ 」の式と
　　類似しており、固有値分解しているように見える。

　　発想の原点は「$\boldsymbol{M}\boldsymbol{M}^{\mathrm{T}}$」にある。
　　もともと長方形の$\boldsymbol{M}$に、転置(縦横を逆転）させた
　　「$\boldsymbol{M}^{\mathrm{T}}$」を掛け合わせると、正方形になる。

　　つまり「$\boldsymbol{M}\boldsymbol{M}^{\mathrm{T}}$」を固有値分解すれば、
　　その左特異ベクトル(ただし単位ベクトルから作らなければならないこと）
　　と特異値の2乗が求められることがわかる。

具体例

 \boldsymbol{M}
  =
 \begin{pmatrix}
  1 & 2 & 3\\
  3 & 2 & 1
 \end{pmatrix}

　　上記のような行列があったとする。
　　まずは、「$\boldsymbol{M}$」と「$\boldsymbol{M}^{\mathrm{T}}$」を掛ける。

 \boldsymbol{M}\boldsymbol{M}^{\mathrm{T}}
   =
 \begin{pmatrix}
   1 & 2 & 3\\
   3 & 2 & 1
 \end{pmatrix}
 \begin{pmatrix}
  1 & 3\\
  2 & 2\\
  3 & 1
 \end{pmatrix}
  =
 \begin{pmatrix}
  14 & 10\\
  10 & 14
 \end{pmatrix}

　　すると、2×3だった行列が2×2の行列になる。
　　この、2×2の行列を固有値分解する。

 \begin{pmatrix}
  14 & 10\\
  10 & 14
 \end{pmatrix}
  =
 \begin{pmatrix}
  1&1\\
  1&-1
 \end{pmatrix}
 \begin{pmatrix}
  24&0\\
  0&4
 \end{pmatrix}
 \begin{pmatrix}
  1&1\\
  1&-1
 \end{pmatrix}

　　となる。