第0章.初めに
E資格2021#2 （2021年8⽉試験）対応ラビット・チャレンジの講義動画の内容及び課題や気づき、演習問題をレポートとしてまとめる。
第1章.線形代数
本章の目的は以下の通りである。
+ 固有値・固有ベクトルの求め方の確認
+ 固有値分解について理解
+ 特異値・特異値ベクトルの概要を知る
+ 特異値分解の概要を知る
上記目的を達成するまでの過程をまとめる
##1-1 ベクトル
ベクトルとはスカラー（実数値）のセットで、「大きさ」と「向き」を持った量。
$n$個のスカラー値 $a_{1}\sim a_{n}$で構成されるベクトル$\boldsymbol{A}$は以下の通り表記する。
\boldsymbol{A}=
\begin{pmatrix}
a_{1} \\\vdots \\a_{i} \\\vdots \\a_{n}\
\end{pmatrix}
例）$n=3、a_{1}=2、a_{2}=1、a_{3}=4 $とするベクトル$\boldsymbol{A}$は以下の通り表記する。
\boldsymbol{A}=
\begin{pmatrix}
2 \\ 1\\4
\end{pmatrix}
####★応⽤数学演習問題（Practice_Mathematics Q）
1.1
次のベクトル
\vec{a}=
\begin{pmatrix}
1 \\ 6\\ 3
\end{pmatrix}
、
\vec{b}=
\begin{pmatrix}
5 \\ 2\\ 4
\end{pmatrix}
に関して，以下の計算をせよ。
問1.1.1. $\vec{a}+\vec{b}$
ベクトルの和は各要素の和で求めることができる。
\vec{a}+\vec{b}
=
\begin{pmatrix}
1 \\ 6\\ 3
\end{pmatrix}
+
\begin{pmatrix}
5 \\ 2\\ 4
\end{pmatrix}
=
\begin{pmatrix}
6 \\ 8\\ 7
\end{pmatrix}
問1.1.2. $\vec{a}-\vec{b}$
ベクトルの差は各要素の差で求めることができる。
\vec{a}-\vec{b}
=
\begin{pmatrix}
1 \\ 6\\ 3
\end{pmatrix}
-
\begin{pmatrix}
5 \\ 2\\ 4
\end{pmatrix}
=
\begin{pmatrix}
-4 \\ 4\\ -1
\end{pmatrix}
問1.1.3. $7\vec{a}$
各要素を7倍することで求めることができる。
7\vec{a}
=
7
\begin{pmatrix}
1 \\ 6\\ 3
\end{pmatrix}
=
\begin{pmatrix}
7 \\ 42\\ 21
\end{pmatrix}
問1.1.4. $8(\vec{a}+\vec{b})$
問1.1.1の結果を8倍することで求めることができる。
8(\vec{a}+\vec{b})
=
8
\begin{pmatrix}
6 \\ 8\\ 7
\end{pmatrix}
=
\begin{pmatrix}
48 \\ 64\\ 56
\end{pmatrix}
問7.1 次のベクトルの和を求めよ。
\vec{a}=
\begin{pmatrix}
2 \\ 6\\ 3
\end{pmatrix}
、
\vec{b}=
\begin{pmatrix}
1 \\ 1\\ 4
\end{pmatrix}
\vec{a}+\vec{b}
=
\begin{pmatrix}
2 \\ 6\\ 3
\end{pmatrix}
+
\begin{pmatrix}
1 \\ 1\\ 4
\end{pmatrix}
=
\begin{pmatrix}
3 \\ 7\\ 7
\end{pmatrix}
##1-2 行列
行列$A$は以下のように「ベクトルを並べたもの」（スカラーを表にしたもの）として表記する。
\boldsymbol{A}=
\begin{pmatrix}
3 & 2 & 0 \\ 0 & 2 & 0 \\ 0 & 0 & 1
\end{pmatrix}
何に使うのか？
+ ベクトルの変換
+ 連立方程式を解く
####★応⽤数学演習問題（Practice_Mathematics Q）
問1.2.1
行列もベクトル同様、各要素を足し算すればよい。
A + B
=
\begin{pmatrix}
2 & 1 \\
5 & 3
\end{pmatrix}
+
\begin{pmatrix}
1 & 4 \\
1 & 5
\end{pmatrix}
=
\begin{pmatrix}
3 & 5 \\
6 & 8
\end{pmatrix}
問1.2.2
A - 3B
=
\begin{pmatrix}
2 & 1 \\
5 & 3
\end{pmatrix}
-3
\begin{pmatrix}
1 & 4 \\
1 & 5
\end{pmatrix}
=
\begin{pmatrix}
-1 & -11 \\
2 & -12
\end{pmatrix}
##1-3 連立方程式を解く
###1-3-1 行列を用いた連立方程式の表示
以下のような連立方程式があったとする。
\left\{
\begin{align}
\ x_{1} + 2x_{2} = 3 \\
\ 2x_{1} + 5x_{2} = 5
\end{align}
\right.
これを行列とベクトルの積を用いて表現すると以下のようになる。
\begin{pmatrix}
1 & 2 \\ 2 & 5 \\
\end{pmatrix}
\begin{pmatrix}
x_{1}\\x_{2}
\end{pmatrix}
=
\begin{pmatrix}
3\\5
\end{pmatrix}
行列とベクトルは掛け算は「行列の行」と「ベクトルの列」の各要素の積和で表現することができ、
「行列の行」である$\begin{pmatrix}1 & 2\end{pmatrix}$と「ベクトルの列」である$\begin{pmatrix}x_{1} \ x_{2}\end{pmatrix}
$の各要素の積和$x_{1} + 2x_{2}$が$3$である。
もう一方も同様に考えると、
「行列の行」である$\begin{pmatrix}2 & 5\end{pmatrix}$と「ベクトルの列」である$\begin{pmatrix}x_{1} \ x_{2}\end{pmatrix}$の各要素の積和$2x_{1} + 5x_{2}$が$5$である。
→連立方程式を行列とベクトルを用いて表現することができる。
####参考 行列の積
1-2でも述べたように行列は「ベクトルを並べたもの」であることから、行列とベクトルの積は以下の通り行列同士の積として応用することができる。
\left(
\begin{array}{ccccc}
a_{11} & a_{12} & a_{13}\\
a_{21} & a_{22} & a_{23}\\
a_{31} & a_{32} & a_{33}\\
\end{array}
\right)
\left(
\begin{array}{ccccc}
b_{11} & b_{12} & b_{13}\\
b_{21} & b_{22} & b_{23}\\
b_{31} & b_{32} & b_{33}\\
\end{array}
\right)
=
\left(
\begin{array}{ccccc}
a_{11}×b_{11}+a_{12}×b_{21}+a_{13}×b_{31} & a_{11}×b_{12}+a_{12}×a_{22}+b_{13}×b_{32} & a_{11}×b_{13}+a_{12}×b_{23}+a_{13}×b_{33}\\
a_{21}×b_{11}+a_{22}×b_{21}+a_{23}×b_{31} & a_{21}×b_{12}+a_{22}×b_{22}+a_{23}×b_{32} & a_{21}×b_{13}+a_{22}×b_{23}+a_{23}×b_{33}\\
a_{31}×b_{11}+a_{32}×b_{21}+a_{33}×b_{31} & a_{31}×b_{12}+a_{32}×b_{22}+a_{33}×b_{32} & a_{31}×b_{13}+a_{32}×b_{23}+a_{33}×b_{33}\\
\end{array}
\right)
####★応⽤数学演習問題（Practice_Mathematics Q）
問2.1.1
A\vec{v}=
\begin{pmatrix}
1 & 3 & 4 \\
5 & 9 & 0 \\
3 & 1 & 2 \\
\end{pmatrix}
\begin{pmatrix}
1 \\
0 \\
3 \\
\end{pmatrix}
=
\begin{pmatrix}
1 × 1 + 3 × 0 + 4 × 3 \\
5 × 1 + 9 × 0 + 0 × 3 \\
3 × 1 + 1 × 0 + 2 × 3 \\
\end{pmatrix}
=
\begin{pmatrix}
13 \\
5 \\
9 \\
\end{pmatrix}
問2.1.2
B\vec{v}=
\begin{pmatrix}
1 & 0 & 3 \\
0 & 2 & 5 \\
\end{pmatrix}
\begin{pmatrix}
1 \\
0 \\
3 \\
\end{pmatrix}
=
\begin{pmatrix}
10 \\
15 \\
\end{pmatrix}
問2.1.3
BA=
\begin{pmatrix}
1 & 0 & 3 \\
0 & 2 & 5 \\
\end{pmatrix}
\begin{pmatrix}
1 & 3 & 4 \\
5 & 9 & 0 \\
3 & 1 & 2 \\
\end{pmatrix}
=
\begin{pmatrix}
10 & 6 & 10\\
25 & 23 & 10\\
\end{pmatrix}
問2.1.4
$B^{T}$は行列$B$の行と列を入れ替えてできる行列で、転置行列と言う。
B^{T}=
\begin{pmatrix}
1 & 0 \\
0 & 2 \\
3 & 5 \\
\end{pmatrix}
###1-3-2 連立方程式の解き方
下図の通り、連立方程式の解法である「行の基本変形」と同様の手順を行列に適用することで連立方程式を行列を用いて解くことができる。
####行の基本変形を行列の計算として表現する
しかし、これでは行の基本変形で連立方程式を解くのと変わらない。
次に行の基本変形を行列の計算として表現する方法が紹介する。行の基本変形の各パターンを行列の計算として表現すると以下のとおりである。
パターン1. $i$行目を$c$倍する。
Q{ic}=
\left(
\begin{array}{ccccc}
1 & & & & & \\
& \ddots & & & & \\
& & 1 & & &\\
& & & c & & \\
& & & & \ddots & \\
& & & & &1\\
\end{array}
\right)
対角成分を1、その他の成分を0とし、$i$行目の対角成分の値を$1→c$に置き換えた行列
パターン2. $s$行目 + $t$行目の$c$倍
R{stc}=
\left(
\begin{array}{ccccc}
1 & & & & & \\
& \ddots & & c & & \\
& & 1 & & &\\
& & & & \ddots & \\
& & & & &1\\
\end{array}
\right)
対角成分を1、その他の成分を0とし、$s$行$t$列目の成分を$c$に置き換えた行列
パターン3. $p$行目と$q$行目を入れ替える
P{pq}=
\left(
\begin{array}{ccccc}
1 & & & & & & \\
& \ddots & & & & & \\
& & 0 & & 1 & &\\
& & & \ddots & & & \\
& & 1 & & 0& & \\
& & & & & \ddots &\\
& & & & & & 1\\
\end{array}
\right)
対角成分を1、その他の成分を0とし、$p$行目と$q$行目を入れ替えた行列
これらの行列をかけ合わせることで行の基本変形を行列の掛け算で表現することができる。
例）先の例題をパターンに合わせて行列の計算のみで連れ率方程式を解く。
①2行目を1/2倍する＝パターン1
\begin{pmatrix}
1 & 0 \\ 0 & 1/2 \\
\end{pmatrix}
\begin{pmatrix}
1 & 4 \\ 2 & 6 \\
\end{pmatrix}
\begin{pmatrix}
x_{1}\\x_{2}
\end{pmatrix}
=
\begin{pmatrix}
1 & 0 \\ 0 & 1/2 \\
\end{pmatrix}
\begin{pmatrix}
7\\10
\end{pmatrix}
\begin{pmatrix}
1 & 4 \\ 1 & 3 \\
\end{pmatrix}
\begin{pmatrix}
x_{1}\\x_{2}
\end{pmatrix}
=
\begin{pmatrix}
7\\5
\end{pmatrix}
※等式を成立させるために行列は両辺同じ方向から掛ける。
②1行目-2行目（1行目+2行目の-1倍と考える）＝パターン2
\begin{pmatrix}
1 & -1 \\ 0 & 1 \\
\end{pmatrix}
\begin{pmatrix}
1 & 4 \\ 1 & 3 \\
\end{pmatrix}
\begin{pmatrix}
x_{1}\\x_{2}
\end{pmatrix}
=
\begin{pmatrix}
1 & -1 \\ 0 & 1 \\
\end{pmatrix}
\begin{pmatrix}
7\\5
\end{pmatrix}
\begin{pmatrix}
0 & 1 \\ 1 & 3 \\
\end{pmatrix}
\begin{pmatrix}
x_{1}\\x_{2}
\end{pmatrix}
=
\begin{pmatrix}
2\\5
\end{pmatrix}
③2行目-1行目×3（2行目+1行目の-3倍と考える）＝パターン2
\begin{pmatrix}
1 & 0 \\ -3 & 1 \\
\end{pmatrix}
\begin{pmatrix}
0 & 1 \\ 1 & 3 \\
\end{pmatrix}
\begin{pmatrix}
x_{1}\\x_{2}
\end{pmatrix}
=
\begin{pmatrix}
1 & 0 \\ -3 & 1 \\
\end{pmatrix}
\begin{pmatrix}
2\\5
\end{pmatrix}
\begin{pmatrix}
0 & 1 \\ 1 & 0 \\
\end{pmatrix}
\begin{pmatrix}
x_{1}\\x_{2}
\end{pmatrix}
=
\begin{pmatrix}
2\\-1
\end{pmatrix}
④1行目と2行目を入れ替える＝パターン3
\begin{pmatrix}
0 & 1 \\ 1 & 0 \\
\end{pmatrix}
\begin{pmatrix}
0 & 1 \\ 1 & 0 \\
\end{pmatrix}
\begin{pmatrix}
x_{1}\\x_{2}
\end{pmatrix}
=
\begin{pmatrix}
0 & 1 \\ 1 & 0 \\
\end{pmatrix}
\begin{pmatrix}
2\\-1
\end{pmatrix}
\begin{pmatrix}
1 & 0 \\ 0 & 1 \\
\end{pmatrix}
\begin{pmatrix}
x_{1}\\x_{2}
\end{pmatrix}
=
\begin{pmatrix}
-1\\2
\end{pmatrix}
行列の計算のみで連立方程式の解$x_{1}=-1、_{2}=-2$を求めることができる。
##1-4 逆行列
1-3節では連立方程式を行列の計算のみで解いた。
例えば $3x_{1}=9$ のような方程式の場合、両辺を3の逆数である1/3を両辺に掛けることで解くことができる。
先ほどの行列を用いた連立方程式を解く場合も、行列の逆数のようなものが存在すれば、それを両辺にかけることでより簡単に連立方程式を解くことができる。この行列の逆数のような役割を持つ行列のことを逆行列と呼ぶ。
###1-4-1 逆行列の求め方
前節の連立方程式を行列の計算のみで解いた場合、
\begin{pmatrix}
1 & 0 \\ -3 & 1 \\
\end{pmatrix}
\begin{pmatrix}
1 & -1 \\ 0 & 1 \\
\end{pmatrix}
\begin{pmatrix}
1 & 0 \\ 0 & 1/2 \\
\end{pmatrix}
\begin{pmatrix}
1 & 4 \\ 2 & 6 \\
\end{pmatrix}
\begin{pmatrix}
x_{1}\\x_{2}
\end{pmatrix}
=
\begin{pmatrix}
1 & 0 \\ -3 & 1 \\
\end{pmatrix}
\begin{pmatrix}
1 & -1 \\ 0 & 1 \\
\end{pmatrix}
\begin{pmatrix}
1 & 0 \\ 0 & 1/2 \\
\end{pmatrix}
\begin{pmatrix}
7\\10
\end{pmatrix}
\begin{pmatrix}
1 & 0 \\ 0 & 1 \\
\end{pmatrix}
\begin{pmatrix}
x_{1}\\x_{2}
\end{pmatrix}
=
\begin{pmatrix}
-3 & 2 \\ 1 & -1/2 \\
\end{pmatrix}
\begin{pmatrix}
7\\10
\end{pmatrix}
ここの左辺のように、ある行列を単位行列に変換するような行列を逆行列と言う。
上記の例では
\begin{pmatrix}
1 & 4 \\ 2 & 6 \\
\end{pmatrix}
を単位行列
\begin{pmatrix}
1 & 0 \\ 0 & 1 \\
\end{pmatrix}
に変換する
\begin{pmatrix}
-3 & 2 \\ 1 & -1/2 \\
\end{pmatrix}
が
\begin{pmatrix}
1 & 4 \\ 2 & 6 \\
\end{pmatrix}
の逆行列である。
###1-4-2 逆行列の求め方（掃き出し法）
\begin{pmatrix}
1 & 4 \\ 2 & 6 \\
\end{pmatrix}
\begin{pmatrix}
x_{1}\\x_{2}
\end{pmatrix}
=
\begin{pmatrix}
7\\10
\end{pmatrix}\
を
\\
\begin{pmatrix}
1 & 4 \\ 2 & 6 \\
\end{pmatrix}
\begin{pmatrix}
x_{1}\\x_{2}
\end{pmatrix}
=
\begin{pmatrix}
1 & 0 \\ 0 & 1 \\
\end{pmatrix}
\begin{pmatrix}
7\\10
\end{pmatrix}\
のように考える。
このとき、左辺が単位行列になるよう行変形すると、右辺の単位行列が逆行列になる。
このようにして逆行列を求める方法を掃き出し法という、
###1-4-3 逆行列が存在しない条件
以下のような行列があったとき、
\begin{pmatrix}
a & b \\ c & d \\
\end{pmatrix}
$a:b=c:d$のとき、つまり$ad-bc=0$のとき逆行列を持たない。
この逆行列の有無を判別する式を行列式という。
####★応⽤数学演習問題（Practice_Mathematics Q）
問2.2.1
AB=
\begin{pmatrix}
2 & 1 \\
4 & 1 \\
\end{pmatrix}
\begin{pmatrix}
1 & 3 \\
3 & 1 \\
\end{pmatrix}
=
\begin{pmatrix}
5 & 7 \\
7 & 13 \\
\end{pmatrix}
問2.2.2
2×2のは以下に示す式で容易に求めることができる。
\begin{pmatrix}
a & b \\
c & d \\
\end{pmatrix}^{-1}=
\frac{1}{ad-bc}
\begin{pmatrix}
d & -b \\
-c & a \\
\end{pmatrix}
◆参考ページ：逆行列を求める２通りの方法と例題
https://mathtrain.jp/inversematrix
A^{-1}=
\frac{1}{2×1-4×1}
\begin{pmatrix}
1 & -1 \\
-4 & 2 \\
\end{pmatrix}
=
\begin{pmatrix}
-\frac{1}{2} & \frac{1}{2} \\
2 & -1 \\
\end{pmatrix}
※この解法は2×2の行列では有効だが、それ以上（3×3以上）の正方行列には有効ではない。
2×2より大きい正方行列の逆行列を求める場合は掃き出し法を用いる。
問2.2.3
B^{-1}=
\frac{1}{1×1-3×1}
\begin{pmatrix}
1 & -3 \\
-3 & 1 \\
\end{pmatrix}
=
\begin{pmatrix}
-\frac{1}{8} & \frac{3}{8} \\
\frac{3}{8} & -\frac{1}{8} \\
\end{pmatrix}
問2.2.4
\begin{align}
BAB^{-1}=
\begin{pmatrix}
1 & 3 \\
3 & 1 \\
\end{pmatrix}
\begin{pmatrix}
2 & 1 \\
4 & 1 \\
\end{pmatrix}
\begin{pmatrix}
-\frac{1}{8} & \frac{3}{8} \\
\frac{3}{8} & -\frac{1}{8} \\
\end{pmatrix} \\
=
\begin{pmatrix}
14 & 4 \\
10 & 4 \\
\end{pmatrix}
\begin{pmatrix}
-\frac{1}{8} & \frac{3}{8} \\
\frac{3}{8} & -\frac{1}{8} \\
\end{pmatrix}\\
=
\begin{pmatrix}
-\frac{2}{8} & \frac{38}{8} \\
\frac{2}{8} & \frac{26}{8} \\
\end{pmatrix}\\
=
\begin{pmatrix}
-\frac{1}{4} & \frac{19}{4} \\
\frac{1}{4} & \frac{13}{4} \\
\end{pmatrix}\\
=\frac{1}{4}
\begin{pmatrix}
-1 & 19 \\
1 & 13 \\
\end{pmatrix}\\
\end{align}
##1-5 行列式
以下のように行列の2本の横ベクトルの組み合わせだと考えたとき、
\begin{pmatrix}
a & b \\ c & d \\
\end{pmatrix}
=
\begin{pmatrix}
\vec{v_{1}}\\\vec{v_{2}}
\end{pmatrix}
この2本のベクトルが成す平⾏四辺形の⾯積を行列式とい、以下のように記載する。
\begin{vmatrix}
a & b \\
c & d
\end{vmatrix}
=
ad-bc
※3×3の行列の行列式は以下のように展開ができる。
\begin{vmatrix}
a & b & c \\
d & e & f \\
g & h & i \\
\end{vmatrix}
=
a
\begin{vmatrix}
e & f \\
h & i \\
\end{vmatrix}
-d
\begin{vmatrix}
b & c \\
h & i \\
\end{vmatrix}
+g
\begin{vmatrix}
b & c \\
h & i \\
\end{vmatrix}
導入方法は「余因子と余因子展開」を参照した。
##1-6 固有値分解
###1-6-1 固有値と固有ベクトル
ある⾏列$A$に対して，以下のような式が成り⽴つベクトル$\vec{𝑥}$と，右辺の係数$λ$がある。
A\vec{x}=λ\vec{x}
この特殊なベクトル$\vec{𝑥}$とその係数$λ$を，⾏列$A$に対する固有ベクトル，固有値という。
####★応⽤数学演習問題（Practice_Mathematics Q）
問7.2
\begin{align}
\begin{pmatrix}
1 & 4 \\
2 & 3 \\
\end{pmatrix}
\begin{pmatrix}
1 \\
1
\end{pmatrix}
=
\begin{pmatrix}
5 \\
5
\end{pmatrix}\\
=
5
\begin{pmatrix}
1 \\
1
\end{pmatrix}
\end{align}
上記の等式が成り立つため、固有値は$λ$=5である
###1-6-2 固有値の求め方
行列の固有ベクトル及び固有値は以下のように式を展開し、
A\vec{x}=λ\vec{x} … ①\\
(A-λI)\vec{x}=\vec{0} … ②\\
$I$：単位行列を示す。
$\vec{x}\neq\vec{0}$のため、等式を満たすために$|A-λI|=0$を解き、固有値$λ$を求める。
固有値$λ$を上式②に代入し、固有ベクトル$\vec{x}$を求める。
###1-6-3 固有値分解
ある正方行列の固有値を対角成分に並べた行列を$Λ$とし、
Λ=
\left(
\begin{array}{ccccc}
λ_{1} & & \\
& λ_{2} & \\
& & \ddots \\
\end{array}
\right)
固有ベクトルを以下の通り並べた行列を$V$とするしたとき、
V=
\left(
\begin{array}{ccccc}
\vec{v_{1}} & \vec{v_{2}} & \dots
\end{array}
\right)
以下の等式が成り立つ。
AV=VΛ
両辺に$V$の逆行列$V^{-1}$を左から掛ける。
A=VΛV^{-1}
このように正⽅形の⾏列を上述の様な３つの⾏列の積に変換することを固有値分解という。
この変換によって⾏列の累乗の計算が容易になる等の利点がある。
例)$A^2$を求めたい場合
A^2=VΛV^{-1}VΛV^{-1} \\
V^{-1}V=Iより \\
A^2=VΛ^2V^{-1} \\
$Λ^2$は対角成分の$λ$の2乗を成分とする行列のため用意に求めることができる。
すでに求めている$V$と$V^{-1}$と各$λ$の2乗を成分とする行列$Λ^2$の積で$A^2$を
求めることができる。これを一般化すると以下のように行列の累乗を固有値と固有ベクトルのみで解くことができる。。
A^n=VΛ^nV^{-1} \\
\\
Λ^n=
\left(
\begin{array}{ccccc}
λ_{1}^n & & \\
& λ_{2}^n & \\
& & \ddots \\
\end{array}
\right)
固有値は正方行列でのみ求めることができる。
正方行列以外でも固有値分解を行いたい→次節で説明する特異値分解を用いる。
##1-7 特異値分解
M\vec{v}
=σ\vec{u} \\
M^{T}\vec{u}
=σ\vec{v}
上式を満たすベクトル$M$は以下のように特異値分解できる。
M=USV^{-1}
$M$を$m×n$ベクトルとしたとき、$U$は$m×m$で定義される左特異ベクトル、$S$を特異値を成分とする$m×n$行列、$V$は$n×n$で定義される右特異ベクトルと呼ばれる。
◆参考図書：深層学習
https://www.amazon.co.jp/dp/4048930621/
###1-7-1 特異値分解の求め方
MM^T=USV^{-1}VSU^{-1} \\
MM^T=USS^TU^{-1}
$MM^T$は正方行列のため、$MM^T$を$A$、$U$を$V$、$SS^T$を$Λ$と考えると、
$MM^T$を固有値分解した結果$Λ$の平方根が$M$の特異値、$V$が$M$の左特異ベクトルとなる。
次に
M^TM=VSU^{-1}USV^{-1} \\
M^TM=VSS^TV^{-1}
$M^TM$は正方行列のため、$M^MT$を$A$、$V$を$V$、$SS^T$を$Λ$と考えると、
$M^TM$を固有値分解した結果$V$が$M$の右特異ベクトルとなる。
###1-7-2 特異値分解の利用例
教材では画像を特異値分解し、求まる特異値、特異ベクトルより少ない特異値及び特異ベクトルの和で元の画像を近似できることを説明していた。
上記内容について分かりやすく説明しているサイトを紹介する。
◆参考ページ：分解すると見える世界 ー特異値分解ー
https://thinkit.co.jp/article/16884
特異値（固有値）分解をすることで元の行列の中から本質的に重要なものだけ抽出することができる。
第2章.確率・統計
学習する機会を作るために大量のデータを適切に扱う必要がある。
大量のデータから特徴を見つけ出し、分析するための手法（統計学）の基礎を身に付ける。
上記目的を達成するまでの過程をまとめる
##2-1 集合とは何か
もの（要素）の集まり、数学的には以下のように表現する。
S=\{a,b,c,d,e,f,g...\}
確率・統計に登場する「事象」は「集合」として取り扱うことができる。
###2-1-1 集合の演算
集合の演算について、以下URLに記載のような説明があった。
◆参考ページ：1.5 集合の演算
http://herb.h.kobe-u.ac.jp/nst/node6.html
##2-2 確率
確率には2種類あり
-
頻度確率（客観確率）
- 発生する頻度
- 例：10本の内、1本だけ当たりのくじを引いて当選する確率は10％だったという事実
-
ベイズ確率（主観確率）
- 信念の度合い
- 例：あなたは40％の確率でインフルエンザですという診断
###2-2-1 確率の定義
確率$P(A)$は以下のようにに定義される。
P(A) = \frac{n(A)}{n(U)} = \frac{事象Aが起こる数}{すべての事象の数}
確率は0から1の間を取る。
$P(\bar{A})$（事象Aが起こらない確率）は以下のように表現する。
P(\bar{A}) = 1 - P(A)
####同時確率
事象AとBが同時に起こる確率$P(A\cap{B})$はいかのよう定義する。
P(A\cap{B}) = P(A)P(A|B)
また、$P(A\cap{B})=P(B\cap{A})$である。
####条件付き確率
$P(A|B)$は事象Bが発生した条件下で事象Aが発生する確率で条件付き確率と言う。
上式より条件確率$P(A|B)$は以下のように表現する。
P(A|B) = \frac{P(A\cap{B})}{P(A)}
####★応⽤数学演習問題（Practice_Mathematics Q）
問5.1
P(雨が降ってきた日|洗濯物を干していた日) \\
= \frac{P(洗濯物を干していた かつ 雨が降ってきた日)}{P(洗濯物を干していた日)} \\
= \frac{12}{60} \\
= \frac{1}{5}
P(洗濯物を⼲していてかつ⾬が降ってきた⽇)
= \frac{12}{365}
問5.2
問5.2.1
赤色の玉3個のうち、Bと記されている玉は1つしかないので、出てきた⽟が⾚⾊であったとき，それに記されている⽂字がBである確率は1/3である。
問5.2.2
Aと書かれた玉2個のうち、白色は1つしかないので、出てきた⽟に記されている⽂字がA であったとき，その⽟の⾊が⽩⾊である確率は1/2である。
####事象が独立の時の同時確率
事象Aと事象Bが互いに独立の時、同時確率$P(A\cap{B})$は以下のように書き換えることができる。
P(A\cap{B}) = P(A)P(B)
####和集合
$P(A\cup{B})$は以下のように求めることができる。
P(A\cup{B}) = P(A) + P(B) - P(A\cap{B})
###2-2-2 ベイズ則
ベイズ則（ベイズの定理）は以下のよう定義される。
P(A)P(A|B) = P(B)P(B|A)
###2-2-3 確率変数と確率分布
-
確率変数
- 事象と結びつけられた数値
- 事象そのものを指すと解釈する場合も多い
-
確率分布
- 事象のはあ制する確率の分布
- 離散地であれば表に示せる。
####★応⽤数学演習問題（Practice_Mathematics Q）
3.1
確率変数は試行の結果として起こる事象に結び付く数値。
a：さいころを振ったときに出た目の数。
→さいころを振ったという「試行」とそれによって起こる事象（出た目）を数値として
結び付けることができるため〇
b：3枚のコインを同時に投げて裏表どちらがでるか試行したときのコインの枚数。
→コインの枚数は試行の結果とは無関係のため×
c：赤、青、黄の3色のボールが壺の中に入っている。ここから1個を取り出した時の色。
→色は数値とは結び付かないため×
d：8本のうち1本が当たりであるクジを、当たりが出るまで抽選し続けたときの回数
→当たりが出るまで抽選し続けたという「試行」とその結果である「回数」が数値として結び付けることができるため〇
よって答えはa,dである。
3.2
裏が3枚、表が1枚出た回数は、試行回数1200回から各事象の発生回数を引けばよいので、
$1200-(75 + 300 + 450 + 75) = 1200 - 900 = 300$
それぞれの事象が発生する確率は「事象発生回数 / 1200」で求めることが出きるので
・裏が1枚、表が3枚：300 / 1200 = 1 / 4
・裏が2枚、表が2枚：450 / 1200 = 6 / 16
・裏が3枚、表が1枚：300 / 1200 = 1 / 4
・裏が4枚、表が0枚：75 / 1200 = 1 / 16
###2-2-4 期待値
確率変数の平均の値（「ありえそうな」な値）
事象$X=x_{1}, x_{2},...,x_{n}$に対応する確率変数を$f(x_{1}), f(x_{2}),...f(x_{n})$、確率を$P(x_{1}), P(x_{2}),...P(x_{n})$としたとき、期待値は以下の通り定義される。
確率変数が離散値の場合。
\sum_{k=1}^{n} P(X = x_{k})f(X = x_{k})
確率変数が連続値の場合。
\int P(X = x)f(X = x)dx \\
####★応⽤数学演習問題（Practice_Mathematics Q）
7.4
ある確率変数$f(x)$の期待値は
$E(f) = \sum P(x)f(x)$ よって答えはア
###2-2-5 分散と共分散
- 分散
- データの散らばり具合
- データの各々の値が、期待値からどれだけずれているのか平均したもの
Var(f) = E((f_{(X=x)}-E_{(f)})^2) \\
= E(f_{(X=x)}^2) - (E_{(f)})^2
####★応⽤数学演習問題（Practice_Mathematics Q）
7.5
ある確率変数$f(x)$の分散は
$Var(f) = E(f(x)^2) -E(f(x))^2$ よって答えはウ
- 共分散
- 2つのデータ系列の傾向の違い
- 正の値を取れば似た傾向
- 負の値を取れば逆の傾向
- ゼロを取れば関係性に乏しい
Cov(f, g) = E( (f_{(X=x)}-E(f)) (g_{(X=x)}-E(g)) ) \\
= E(fg) - E(f)E(g)
###2-2-6 分散と標準偏差
標準偏差：分散の平方根
分散は2条してしまっているので元のデータと単位が違う。
平方根をすれば元の単位に戻す。
σ = \sqrt{E((f_{(X=x)}-E_{(f)})^2)}
###2-2-6 様々な確率分布
####ベルヌーイ分布
-
コイントスのイメージ
＝2種類のみの結果しか得られないような場合 -
裏と表で出る割合が等しくなくとも扱える。
$x$=1 or 0、$μ$：事象1が発生する確率とすると、確率は次式で表すことができる。
P(x|μ) = μ^{x}(1-μ)^{1-x}
####マルチヌーイ（カテゴリカル）分布
-
さいころを転がすイメージ
-
各面の出る割合が等しくなくとも扱える
####二項分布
ベルヌーイ分布の多試行版
P(x|λ, n) = \frac{n!}{x!(n - x)!}λ^{x}(1-λ)^{1-x}
####ガウス分布
釣鐘型の連続分布
N(x|μ, σ^2) = \sqrt{\frac{1}{2πσ^2}}\exp{(-\frac{1}{2σ^2}(x-μ^2))}
##2-3 推定
母集団を特徴づける母数（パラメータ：平均など）を統計的に推測すること。
-
点推定
平均値などを1つの値に推定すること。 -
区間推定
平均値などが存在する範囲（区間）を推定すること。
###2-3-1 推定量と推定値
-
推定量
パラメータを推定するために利用する数値の計算方法や計算式のこと。
推定関数とも言う。 -
推定値
実際に施行を行った結果から計算した値。
###2-3-2 標本平均
母集団から取り出した標本の平均値。以下の特徴を持つ。
-
一致性→取り出す標本が大きいほど母集団の値に近づく。
-
不偏性→サンプル数がいくらであってもその期待値は母集団の値と同様。
###2-3-2 標本分散
母集団から取り出した標本の分散値。以下の特徴を持つ。
\hat{σ^2} = \frac{1}{n}\sum_{k=1}^{n} (x_{i} - \bar{x})^2
一致性は満たすが、普遍性は満たさない。
\hat{σ^2} = \frac{1}{n-1}\sum_{k=1}^{n} (x_{i} - \bar{x})^2
標本から分散を計算するとき$n$で割るのではなく、上式のように$n-1$で割ることで母分散と等しくなる。
第3章.情報理論
##3-1 自己情報量
自己情報量$I(x)$は以下のように定義される。
対数の底が2の時、単位はビット
対数の底がネイピア（$e$)のとき、単位はナットである。
I(x) = -\log(P(x)) = \log(W(x))
$P(x)$はxが起こる確率を示す。
####★応⽤数学演習問題（Practice_Mathematics Q）
問4.1
問4.1.1
コインを1回投げて表が出る確率は1/2なので、
$I = -log_2 \frac{1}{2} = 1$
問4.1.2
2枚のコインを1回投げてすべて表が出る確率は$(\frac{1}{2})^2 = \frac{1}{4}$なので、
$I = -log_2 \frac{1}{4} = 2$
問4.1.3
n枚のコインを1回投げて1枚の表が出る確率は$nC_{1}(\frac{1}{2})^n$なので、
$I = -log_2 (nC_{1}(\frac{1}{2})^n) = -log_2 n + n
問6.1
$log AB = log(A) + log(B)$ ウ
問6.2
$log \frac{A}{B} = log(A) - log(B)$ イ
問6.3
$log x_{1}x_{2}x_{3}x_{4} = log(x_{1}) + log(x_{2}) + log(x_{3}) + log(x_{4}) = \sum_{k=1}^{4} log(x_{k})$ ウ
##3-2 シャノンエントロピー
情報量の期待値。以下のように定義される。
H(x) = E(I(x))
= -E(\log(P(x)))
= -\sum P(x)\log(P(x))
確率$P(x)$=1/2のとき最大値を取り、$P(x)$=0 or 1のとき最小値を取る上に凸のグラフで表さる。
確率があいまいなほど大きな値を取ることが分かる。
####★応⽤数学演習問題（Practice_Mathematics Q）
問7.5
シャノンエントロピーとしてふさわしいものは$-\sum P(x)\log(P(x))$ よって答えはイ
##3-3 カルバック・ライブラー・ダイバージェンス
同じ事象・確率変数における異なる確率分布P, Qの違いを以下のように定義する。
D_{KL}(P||Q) = E_{x\sim P}[\log \frac{P(x)}{Q(x)}] = E_{x\sim P}[\log P(x) - \log Q(x)]
##3-4 交差エントロピー
KLダイバージェンスの一部分を取り出したもの。
Qについての自己情報量をPの分布で平均している。
H(P,Q) = -\sum P(x)\log(Q(x))
交差エントロピーは、機械学習（2値分類、多値分類）における予測の誤差として使われることが多く、実際、$P$を「正解の分布」、$Q$を「予測の分布」とすると、機械学習による予測が正解に似ているほど、$P$と$Q$の交差エントロピーが小さくなると考えることができる。