Level２．ＪＤＬＡ認定プログラム「３カ月で現場で潰しが効くディープラーニング講座」

　Ｅ資格を受験するにあたり、ＪＤＬＡ認定の講座に申し込みました。
　各単元ごとに学習をした結果を書き込んでいきます。

　・応用数学「Level３．線形代数」「Level４．確率・統計」「Level５．情報理論」

Level３．応用数学

3-1.線形代数

・学習の目標

　　(1)固有値・固有ベクトルの求め方を確認する。
　　(2)固有値分解について理解を深める。
　　(3)特異値・特異ベクトルの概要を知る。
　　(4)特異値分解の概要を知る。

3-1-1.スカラーとベクトル

　【スカラー】　　
　　　普通の数で四則演算（＋－×÷）が可能なもの
　　　ベクトルに対して係数になりスカラー倍できる。
　【ベクトル】
　　　「大きさ」と「向き」を持つ。
　　　　主に矢印で図示され、スカラーをセットとして表示する。
　　　

3-1-2.行列

　【行列】

・スカラーを表にしたもの
・ベクトルを並べたもので→をつけて$\vec{A}$と記述する。
・例として以下のように記述する。

\begin{aligned}\begin{pmatrix}
3 & 2 & 0 \\
0 & 2 & 0 \\
0 & 0 & 1
\end{pmatrix}\end{aligned}

　【行列の積の例】

\begin{aligned}\begin{pmatrix}
2 & 1 \\
4 & 1
\end{pmatrix}\begin{pmatrix}
1 & 3 \\
3 & 1
\end{pmatrix}=\begin{pmatrix}
2\times 1+1\times 3 & 2\times 3+1\times 1 \\
4\times 1+1\times 3 & 4\times 3+1\times 1
\end{pmatrix}\\
=\begin{pmatrix}
5 & 7 \\
7 & 13
\end{pmatrix}\end{aligned}

3-1-3.単位行列と逆行列

　【単位行列】


I=\begin{pmatrix}
1 &  &  \\
 & 1 &  \\
 &  & \ldots 
\end{pmatrix}

　【行列と逆行列の積】
　　ある行列に逆行列をかけると単位行列となる。
　　逆行列の右肩にある“-1”はインバースと言う。

AA^{-1}=A^{-1}A=I

3-1-4.逆行列の求め方

　行列の形式で、i行目をc倍して、s行目にt行目のc倍を加えて、p行目とq行目を入れ替えて・・・

　と行基本変形で逆行列を求めることを掃き出し法という。（＝ガウスの掃き出し法）

　プログラミングの内部では掃き出し法の操作で求められているようであるが、
　計算で求めてしまった方が楽かな。

\begin{aligned}\begin{pmatrix}
a & b \\
c & d
\end{pmatrix}^{-1}=\dfrac {1}{ad-bc}\begin{pmatrix}
d & -b \\
-c & a
\end{pmatrix}\end{aligned}

3-1-5.固有値と固有ベクトル

　ある行列Aに対して、以下の式が成り立つような特殊なベクトル$\vec{x}$と、係数λがある。

A\overrightarrow {x}=\lambda \overrightarrow {x}

　行列Aと特殊なベクトル$\vec{x}$の積は、
　ただのスカラーの数であるλと特殊なベクトル$\vec{x}$との積と同じである。

　特殊なベクトル$\vec{x}$を固有ベクトルといい、その係数λを固有値という。

　具体例は以下のような固有値、固有ベクトルである。
　固有ベクトルは比率であり、1以外に2でも3でもよい。

\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}\begin{pmatrix}
1 \\
1
\end{pmatrix}=5\begin{pmatrix}
1 \\
1
\end{pmatrix}

3-1-6.固有値と固有ベクトルの求め方

　$A\vec{x}=λ\vec{x}$
　$(A - λI)\vec{x}=\vec{0}$
　Ｉは単位行列である。

　$\vec{x} ≠ \vec{0}より|A - λI| = 0$　※$\vec{x} = \vec{0}$だと何でも成り立ってしまう。

\begin{vmatrix}
3-\lambda  & 2 & 0 \\
0 & 2-\lambda  & 0 \\
0 & 0 & 1-\lambda 
\end{vmatrix}=0

　(3 - λ)(2 - λ)(1 - λ) = 0
　よって、λ = 3 or 2 or 1

\begin{pmatrix}
3-\lambda  & 2 & 0 \\
0 & 2-\lambda  & 0 \\
0 & 0 & 1-\lambda 
\end{pmatrix}\begin{pmatrix}
x_1 \\
x_2 \\
x_3 
\end{pmatrix}=0

　にλ = 3 or 2 or 1　を代入して解くか、

\begin{pmatrix}
3 & 2 & 0 \\
0 & 2 & 0 \\
0 & 0 & 1
\end{pmatrix}\begin{pmatrix}
x_1 \\
x_2 \\
x_3 
\end{pmatrix}=λ\begin{pmatrix}
x_1 \\
x_2 \\
x_3 
\end{pmatrix}

　にλ = 3 or 2 or 1　を代入して解く。

λ = 3　の時　\overrightarrow {x}=\begin{pmatrix}1 \\ 0 \\ 0\end{pmatrix}　の定数倍\\
λ = 2　の時　\overrightarrow {x}=\begin{pmatrix}2 \\ -1 \\ 0\end{pmatrix}　の定数倍\\
λ = 1　の時　\overrightarrow {x}=\begin{pmatrix}0 \\ 0 \\ 1\end{pmatrix}　の定数倍

となる。

3-1-7.固有値分解

　※正方形の行列であること。

　行列Aが固有値$λ_1,λ_2,λ_3,･･･$と、固有ベクトル$ν_1,ν_2,ν_3,･･･$を持ったとする。
　この固有値を対角線上に並べた行列Λ（ラムダ）

Λ=\begin{pmatrix}
λ_1 &  &  \\
 & λ_2 &  \\
 &  & \ldots 
\end{pmatrix}

と、それに対応する固有ベクトルを並べた行列

V=\begin{pmatrix}
ν_1 & ν_2 & ･･･ 
\end{pmatrix}

とした時に、　AV = VA　と関連付けられる。

したがって、　$A = VΛV^{-1}$　と変形できる。

正方形の行列を3つの行列の積に変換することを固有値分解という。

⇒行列の累乗を求める時に$VΛV^{-1} × VΛV^{-1}　のV^{-1} × Vが単位行列Iとなるため簡易になる。$

3-1-8.特異値分解

　※正方形の行列以外でも固有値分解の似たようなことをする。

M\overrightarrow {v}=\sigma \overrightarrow {u}\\
M^{T}\overrightarrow {u}=\sigma \overrightarrow {v}\\

TはMの転置である。
このような特殊な単位ベクトルがあるなら特異値分解できる。

M=USV^{-1}

UやVは直行行列（複素数を要素に持つ場合はユニタリー行列）

3-1-9.特異値の求め方

MV = US　　⇔　M^{T}U = VS^{T}\\
（この関係があるか）\\
M = USV^{-1}　　　M^{T} = VS^{T}U^{-1}\\

これらの積は

MM^{T} = USV^{-1}VS^{T}U^{-1} = USS^{T}U^{-1}\\

具体例では

M =\begin{pmatrix}
1 & 2 & 3 \\
3 & 2 & 1
\end{pmatrix}\

=\begin{pmatrix}
\dfrac {1}{\sqrt {2}} & -\dfrac {1}{\sqrt {2}} \\
\dfrac {1}{\sqrt {2}} & \dfrac {1}{\sqrt {2}}
\end{pmatrix}\begin{pmatrix}
2\sqrt {6} & 0 & 0 \\
0 & 2 & 0
\end{pmatrix}\begin{pmatrix}
\dfrac {1}{\sqrt {3}} & \dfrac {1}{\sqrt {3}}\dfrac {1}{\sqrt {3}} \\
\dfrac {1}{\sqrt {2}} & 0-\dfrac {1}{\sqrt {2}} \\
\dfrac {1}{\sqrt {6}} & -\dfrac {2}{\sqrt {6}}\dfrac {1}{\sqrt {6}}
\end{pmatrix}

3-1-10.特異値分解の利用方

　機械学習等において、特異値分解した画像データの行列から、
　成分の小さい部分を取り除いていくと、画像はぼやけるがデータ量を小さくすることができる。
　⇒レンズのピントをずらして、ぼやけるイメージ（データ量は少なくなる）