線形代数で取り扱う量

スカラー

大きさのみを持つ量．
ベクトルに対する係数になれる．

ベクトル

大きさと向きを持つ．
スカラーのセットで表示される．
複数の要素を持てるため，物の属性をベクトル的に表すことがある．

行列

スカラーを表に，もしくはベクトルを並べたもの．
ベクトルの変換に用いられる．

行列のベクトルへの作用

$n$次元ベクトルに$n$次正方行列を作用させると新たな$n$次元ベクトルとなる．
$n$次元ベクトルに$m \times n$型の行列を（左から）作用させると$m$次元ベクトルとなる．

単位行列と逆行列

単位行列

対角成分が1でそれ以外の成分が0の行列．

\boldsymbol{I} =
\begin{pmatrix}
1      & 0      & \cdots & 0      \\
0      & 1      & \cdots & 0      \\
\vdots & \vdots & \ddots & \vdots \\
0      & \cdots & 0      & 1
\end{pmatrix}

逆行列

行列の逆数みたいなもの．
$\boldsymbol{A}$ の逆行列を $\boldsymbol{A}^{-1}$ とすると，

\boldsymbol{A}\boldsymbol{A}^{-1} = \boldsymbol{A}^{-1}\boldsymbol{A} = \boldsymbol{I}

固有値と固有ベクトル

ある正方行列 $\boldsymbol{A}$ に対して，以下の式が成り立つような特殊なベクトル $\vec{x}$ と右辺の係数 $\lambda$ が存在する．
$$\boldsymbol{A} \vec{x} = \lambda \vec{x} $$$\vec{x}$，$\lambda$ を，それぞれ行列$\boldsymbol{A}$に対する，固有ベクトル，固有値という．

固有値・固有ベクトルの求め方

固有値 λ の求め方

\begin{align}
\boldsymbol{A} \vec{x} &= \lambda \vec{x} \\
(\boldsymbol{A} - \lambda\boldsymbol{I} ) \vec{x} &= \vec{0} \\
\end{align}

$\vec{x} \neq \vec{0}$ より，$(\boldsymbol{A} - \lambda\boldsymbol{I} )$ に逆行列は存在しないので，
$$|\boldsymbol{A} - \lambda\boldsymbol{I} | = 0$$から求められる．

固有ベクトル x の求め方

求めた $\lambda$ を$ \boldsymbol{A} \vec{x} = \lambda \vec{x} $ に代入して求める．

固有値分解

$n$次正方行列 $\boldsymbol{A}$ が固有値 $\lambda_1,\lambda_2,\dots$ と固有ベクトル $\vec{x_1},\vec{x_2},\dots$ を持つとする．
この固有値を対角線上に並べた行列（非対角成分は $0$ ）

\boldsymbol{\Lambda} =
\begin{pmatrix}
\lambda_1 & 0         & \cdots & 0         \\
0         & \lambda_2 & \cdots & 0         \\
\vdots    & \vdots    & \ddots & \vdots    \\
0         & \cdots    & 0      & \lambda_n
\end{pmatrix}

と，それに対応する固有ベクトルを並べた行列

\boldsymbol{V} =
\begin{pmatrix}
\vec{v_1} & \vec{v_2} & \cdots & \vec{v_n} 
\end{pmatrix}

に対して，$$\boldsymbol{AV} = \boldsymbol{V\Lambda} $$が成り立つ．

注1) $\boldsymbol{\Lambda}$ は右からかける．
注2) 固有値の順番は任意だが，降順などルールを作って運用する．

したがって，$$\boldsymbol{A} = \boldsymbol{V\Lambda V}^{-1} $$と変形できる．

このように正方行列 $\boldsymbol{A} $ を上述の３つの行列積に分解することを固有値分解という．

固有値分解の利点

行列の累乗の計算が容易になる．
$\boldsymbol{\Lambda}$ から行列の性質を判断できる（らしい）．
$\boldsymbol{\Lambda}$ は対角行列なので，小さな値を $0$ とすることが可能．計算量を落とせる．

特異値分解

固有値分解は正方行列でしかできない．
が，非正方行列でも似たようなことはできる．

非正方行列$\boldsymbol{M}$ を特異値分解する．

\begin{align}
\boldsymbol{M} \vec{v} &= \sigma \vec{u}\\
\boldsymbol{M}^T \vec{u} &= \sigma \vec{v}
\end{align}

このような特殊な単位ベクトルがあるならば，特異値分解できる．
$$ \boldsymbol{M} = \boldsymbol{U\Sigma V}^{-1} $$ $\boldsymbol{U}$ は $\vec{u}$ を並べたもの，$\boldsymbol{V}$ は $\vec{v}$ を並べたもの．

$\vec{u}$ を左特異ベクトル，$\vec{v}$ を右特異ベクトルという．

特異値の求め方

$$ \boldsymbol{MV} = \boldsymbol{U\Sigma}\qquad \boldsymbol{M}^T\boldsymbol{U} =\boldsymbol{V}\boldsymbol{\Sigma}^T$$より
$$ \boldsymbol{M} = \boldsymbol{U\Sigma V^{-1}}\qquad \boldsymbol{M}^T =\boldsymbol{V}\boldsymbol{\Sigma}^T \boldsymbol{U}^{-1}$$これらの積は
$$ \boldsymbol{MM}^T = \boldsymbol{U\Sigma V}^{-1}\boldsymbol{V\Sigma}^T\boldsymbol{U}^{-1} =\boldsymbol{U\Sigma }\boldsymbol{\Sigma}^T\boldsymbol{U}^{-1} $$つまり， $\boldsymbol{MM}^T $ を固有値分解すれば，その左特異ベクトルと特異値の２乗が求められる．（ただし，左特異ベクトルは単位ベクトルである）

同様に，
$$ \boldsymbol{M}^T \boldsymbol{M}= \boldsymbol{V\Sigma U}^{-1}\boldsymbol{U\Sigma}^T\boldsymbol{V}^{-1} =\boldsymbol{V\Sigma }^T\boldsymbol{\Sigma}\boldsymbol{V}^{-1} $$から，右特異ベクトルと特異値の2乗が求められる．

特異値分解の利点

~~行列の累乗の計算が容易になる．~~ 非正方行列は累乗できない．
$\boldsymbol{\Sigma}$ から行列の性質を判断できる（らしい）
$\boldsymbol{\Sigma}$ は対角行列なので，小さな値を $0$ とすることが可能．計算量を落とせる．（特異値は降順に並べる．）

DeepLearning ラビットチャレンジ