ラビット・チャレンジ（応用数学レポート）

第１章：線形代数

スカラーとベクトル

スカラー：「大きさ」のみを表現できるふつうの数。
ベクトル：「大きさ」と「向き」を表現できるスカラーの組合せ。

＜参考動画＞

行列

• スカラーを表にしたもの。
• ベクトルを並べたもの。（ベクトルのベクトル）

＜参考動画＞

ベクトルの変換

以下のように行列とベクトルの積でベクトルの変換ができる。

\begin{align}
  \begin{pmatrix}
    6 & 4 \\
    3 & 5
  \end{pmatrix}
  \begin{pmatrix}
    1 \\
    2
  \end{pmatrix}
  &=
  \begin{pmatrix}
    14 \\
    13
  \end{pmatrix}
\end{align}

上の例では、２次元ベクトルを２×２行列によって２次元のベクトルに変換した。
以下のように３×２行列を使うことによって２次元ベクトルを３次元のベクトルに変換することもできる。

\begin{align}
\begin{pmatrix}
6 & 4 \\
3 & 5 \\
2 & 6
\end{pmatrix}
\begin{pmatrix}
1 \\
2
\end{pmatrix}
&=
\begin{pmatrix}
14 \\
13 \\
14
\end{pmatrix}
\end{align}

このような行列の性質を__一次変換__という。

＜参考動画＞

連立方程式

以下の連立一次方程式を考える。

\begin{equation}
\left\{ \,
    \begin{aligned}    & x_1+2x_2=3 \\
    & 2x_1+5x_2=5 
    \end{aligned}
\right.
\end{equation} \tag1

この連立方程式は以下のように行列とベクトルの積で表現することができる。

\begin{align}
  \begin{pmatrix}
    1 & 2 \\
    2 & 5
  \end{pmatrix}
  \begin{pmatrix}
    x_1 \\
    x_2
  \end{pmatrix}
  =
  \begin{pmatrix}
    3 \\
    5
  \end{pmatrix}　
\end{align}

そして、この式のそれぞれの行列やベクトルを以下のように定義すると、

A=
\begin{pmatrix}
1 & 2 \\
2 & 5
\end{pmatrix}
,\quad
\vec{x}=
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}
,\quad
\vec{b}=
\begin{pmatrix}
3 \\
5
\end{pmatrix}

連立方程式は行列とベクトルの積でシンプルに表現できる。

A\vec{x}=\vec{b}\

実際にこの行列とベクトルの積を計算して、確かめてみよう！

\begin{align}
A\vec{x}=\vec{b}
\quad
&\Longleftrightarrow\quad
\begin{pmatrix}
1 & 2 \\
2 & 5
\end{pmatrix}
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}
=
\begin{pmatrix}
3 \\
5
\end{pmatrix}　\\\\
\quad
&\Longleftrightarrow\quad
\begin{pmatrix}
1 \cdot x_1 + 2 \cdot x_2 \\
2 \cdot x_1 + 5 \cdot x_2
\end{pmatrix}
=
\begin{pmatrix}
3 \\
5
\end{pmatrix} \\\\
&\Longleftrightarrow\quad
\begin{pmatrix}
x_1 + 2x_2 \\
2x_1 + 5x_2
\end{pmatrix}
=
\begin{pmatrix}
3 \\
5
\end{pmatrix} \tag2
\end{align}

このように式$(2)$の両辺のベクトルの第１成分同士を＝で結んだのが式$(1)$のひとつめの式であり、同様に式$(2)$の両辺のベクトルの第２成分同士を＝で結んだのが式$(1)$の２つ目の式となっていることがわかる。

これより、式$(1)$の連立方程式と式$(2)$の行列とベクトルの積が同等であることがわかる。

行基本変形を使った連立方程式の解き方

行基本変形

1. 行と行を入れ替える
2. ある行を$C$倍する（$C≠0$）
3. ある行の$C$倍を他の行に加える

連立方程式の解き方（掃き出し法）

\begin{equation}
\left\{ \,
    \begin{aligned}
    & x_1+4x_2=7 \\
    & 2x_1+6x_2=10 
    \end{aligned}
\right.
\quad \longrightarrow \quad
\left\{ \,
    \begin{aligned}
    & 1\cdot x_1+4\cdot x_2=7 \\
    & 2\cdot x_1+6\cdot x_2=10 
    \end{aligned}
\right.
\end{equation}

（１）連立方程式を拡大係数行列の形に書き直す。

\longrightarrow
\begin{aligned}
\left(
\begin{array}{cc|c}
1 & 4 & 7 \\
2 & 6 & 10
\end{array}
\right)
\end{aligned}

（２）$2$行目を$\frac{1}{2}$倍する。［行基本変形 2］

\longrightarrow
\begin{aligned}
\left(
\begin{array}{cc|c}
1 & 4 & 7 \\
1 & 3 & 5
\end{array}
\right)
\end{aligned}

（３）$2$行目の$-1$倍を$1$行目に加える。［行基本変形 2＆3］

\longrightarrow
\begin{aligned}
\left(
\begin{array}{cc|c}
0 & 1 & 2\\
1 & 3 & 5
\end{array}
\right)
\end{aligned}

（４）$1$行目の$-3$倍を$2$行目に加える。［行基本変形 2＆3］

\longrightarrow
\begin{align}
\left(
\begin{array}{cc|c}
0 & 1 & 2\\
1 & 0 & -1
\end{array}
\right)
\end{align}~

（５）$1$行目と$2$行目を入れ替える。［行基本変形 1］

\longrightarrow
\begin{align}
\left(
\begin{array}{cc|c}
1 & 0 & -1 \\
0 & 1 & 2
\end{array}
\right)
\end{align}~

（６）連立方程式の形に戻す。

\begin{aligned}
&\longrightarrow
\left\{ \,
    \begin{aligned}
    & 1\cdot x_1+0\cdot x_2 = -1 \\
    & 0\cdot x_1+1\cdot x_2 = 2
    \end{aligned}
\right. \\
&\longrightarrow
\left\{ \,
    \begin{aligned}
    & x_1 = -1 \\
    & x_2 = 2 
    \end{aligned}
\right.
\end{aligned}

＜参考動画＞

単位行列と逆行列

単位行列

対角成分が$1$、その他の成分が$0$の行列を__単位行列__$I$という。
（単位行列を$E$と記述しているものもある。）

I=
\begin{pmatrix}
1 & 0 & \ldots & 0 \\
0 & 1 & \ldots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \ldots & 1
\end{pmatrix}

単位行列は掛け算の「１」のような性質をもち、ある行列に対して左から掛けても、右から掛けても、元の行列となる。

~\large AI=IA=A~

逆行列

ある行列$A$に対して左から掛けても、右から掛けても、その結果が単位行列となるような行列を__逆行列__といい、$A^{-1}$（読み：エー・インバース）で表す。

\large AA^{-1}=A^{-1}A=I

逆行列は「逆数」のような性質をもつといえる。

＜参考動画＞

逆行列の求め方（掃き出し法）

逆行列を求めるには掃き出し法が使える。
（手順は前述の連立方程式の解き方と同様。）

$
~
\begin{pmatrix}
4 & 7 \
1 & 2
\end{pmatrix}
~
$の逆行列を求める。

（１）行列の右側に単位行列を連結し、拡大係数行列をつくる。

~
\longrightarrow
\left(
\begin{array}{cc|cc}
4 & 7 & 1 & 0\\
1 & 2 & 0 & 1
\end{array}
\right)\ \
~

（２）２行目の −４倍を１行目に加える。

~
\longrightarrow
\left(
\begin{array}{cc|cc}
0 & -1 & 1 & -4\\
1 & 2 & 0 & 1
\end{array}
\right)
~

（３）１行目の２倍を２行目に加える。

~
\longrightarrow
\left(
\begin{array}{cc|cc}
0 & -1 & 1 & -4\\
1 & 0 & 2 & -7
\end{array}
\right)
~

（４）１行目を −１倍する。

~
\longrightarrow
\left(
\begin{array}{cc|cc}
0 & 1 & -1 & 4\\
1 & 0 & 2 & -7
\end{array}
\right)
~

（５）１行目と２行目を入れ替える。

~
\longrightarrow
\left(
\begin{array}{cc|cc}
1 & 0 & 2 & -7\\
0 & 1 & -1 & 4
\end{array}
\right)
~

（６）拡大係数行列の右側が求める行列の逆行列となる。

~
\begin{pmatrix}
4 & 7 \\
1 & 2
\end{pmatrix}^{-1}
=
\begin{pmatrix}
 2 & -7 \\
-1 & 4
\end{pmatrix}
~

逆行列の求め方（２×２行列なら簡単）

$2×2$行列でしか使えないが、以下のような簡単に逆行列を求める式がある。

~
\begin{pmatrix}
a & b\\
c & d
\end{pmatrix}^{-1}=
\frac{1}{ad-bc}
\begin{pmatrix}
d & -b\\
-c & a
\end{pmatrix}
~

逆行列が存在しない条件

すべての行列が逆行列を持つわけではない。
行列式$ \ \begin{vmatrix}
A
\end{vmatrix}=0 \ $のとき、行列$ \ A \ $は逆行列$ \ A^{-1} \ $を持たない。

＜参考動画＞

行列式

２次正方行列の場合

A=
\begin{pmatrix}
a & b \\\
c & d
\end{pmatrix},\quad
\begin{vmatrix}
A
\end{vmatrix}
=
\begin{vmatrix}
a & b \\
c & d
\end{vmatrix}=ad-bc

３次正方行列の場合

A=
\begin{pmatrix}
a & b & c \\\
d & e & f \\\
g & h & i
\end{pmatrix},\quad
\begin{vmatrix}
A
\end{vmatrix}
=
\begin{vmatrix}
a & b & c \\\
d & e & f \\\
g & h & i
\end{vmatrix}=
a
\begin{vmatrix}
e & f \\\
h & i
\end{vmatrix}
-d
\begin{vmatrix}
b & c \\\
h & i
\end{vmatrix}
+g
\begin{vmatrix}
b & c \\\
e & f
\end{vmatrix}

＜参考動画＞

固有値・固有ベクトル

ある行列 $A$ に対して以下の式が成り立つとき、ベクトル $\vec{x}$ を行列 $A$ に対する__固有ベクトル__、係数 $\lambda$ を行列 $A$ に対する__固有値__という。

\large A\vec{x}=\lambda\vec{x}~

固有値・固有ベクトルの求め方

大まかな手順としては以下の通り。

1. まず固有値 $\lambda$ を求める。
2. 求めた固有値 $\lambda$ を利用して固有ベクトル $\vec{x}$ を求める。

$A=
\begin{pmatrix}
1 & 4 \
2 & 3
\end{pmatrix}$ の固有値と固有ベクトルを求めてみる。

固有値の求め方

固有方程式$~\begin{vmatrix} A-\lambda I \end{vmatrix} = 0~$を解いて固有値 $\lambda$ を求める。

\begin{align}

&\begin{vmatrix}
A-\lambda I
\end{vmatrix} =0 \\

\Longleftrightarrow\quad &\begin{vmatrix}
1-\lambda & 4\\
2 & 3-\lambda
\end{vmatrix} =0 \\

\Longleftrightarrow\quad &(1-\lambda)(3-\lambda)-4\cdot2 = 0 \\
\Longleftrightarrow\quad &\lambda^2-4\lambda-5 = 0 \\
\Longleftrightarrow\quad  &(\lambda-5)(\lambda+1) = 0 \\

\end{align}\\

\therefore\lambda=5,~ -1

固有ベクトルの求め方

求めた固有値$\lambda$を$~A\vec{x}=\lambda\vec{x}~$に代入して、それぞれの固有値$\lambda$に対する固有ベクトル $\vec{x}$ を求める。

$\quad (i)\ \lambda=5$のとき

\begin{aligned}
\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}=5
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix} \Leftrightarrow
&\begin{equation}\
\left\{ \,
    \begin{aligned}
    & x_1 + 4x_2 = 5x_! \\
    & 2x_! + 3x_2 = 5x_2
    \end{aligned}
\right.
\end{equation}\\

\Leftrightarrow
& \quad x_1=x_2

\end{aligned}\\

$\qquad\qquad x_1=s_1$とすると、$x_2=s_1$

$\qquad\qquad \therefore
\vec{x_1}=
\begin{pmatrix}
s_1 \
s_1
\end{pmatrix}=s_1
\begin{pmatrix}
1 \
1
\end{pmatrix}$
$\qquad\qquad\qquad$（$s_1$は任意定数、$s_1\neq0$）

$\quad (ii)\ \lambda=-1$のとき

\begin{aligned}
\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}=-1
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}
&\Leftrightarrow
\begin{equation}
\left\{ \,
    \begin{aligned}
    & x_1 + 4x_2 = -x_! \\
    & 2x_! + 3x_2 = -x_2
    \end{aligned}
\right.
\end{equation} \\
&\Leftrightarrow \
\ \ x_1=-2x_2
\end{aligned}\\

$\qquad\qquad x_1=2s_2$とすると、$x_2=-s_2$

$\qquad\qquad \therefore
\vec{x_2}=
\begin{pmatrix}
2s_2 \
-s_2
\end{pmatrix}=s_2
\begin{pmatrix}
2 \
-1
\end{pmatrix}$
$\qquad\qquad\qquad$（$s_2$は任意定数、$s_2\neq0$）

＜参考動画＞

##固有値分解

正方行列$A$が固有値$\lambda_1, \lambda_2,\cdots $と固有ベクトル$\vec{v_1}, \vec{v_2},\cdots$を持ったとする。この固有値を対角線上に並べた行列$\Lambda$（それ以外の成分は$0$）と、それに対応する固有ベクトルを並べた行列 $V$ を用意したとき、それらは$~AV=V\Lambda~$と関係付けられる。

\Lambda=
\begin{pmatrix}
\lambda_1 & &  \\
& \lambda_2 & \\
& & \ddots \\
\end{pmatrix} \qquad

V=\Biggl(\vec{v_1} \quad \vec{v_2} \quad \cdots\Biggr)

したがって

\Large A=V\Lambda V^{-1}

と変形できる。

このように正方行列を上述の様な３つの行列の積に変換することを固有値分解という。この変換によって行列の累乗の計算が容易になる等の利点がある。

固有値分解の具体例

先ほど固有値、固有ベクトルを求めるときに使った行列$A$を固有値分解（$~A=V\Lambda V^{-1}~$）すると以下のようになる。

~\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}=
\begin{pmatrix}
1 & 1 \\
1 & -\frac{1}{2}
\end{pmatrix}
\begin{pmatrix}
5 & 0 \\
0 & -1
\end{pmatrix}
\begin{pmatrix}
\frac{1}{3} & \frac{2}{3} \\
\frac{2}{3} & -\frac{2}{3}
\end{pmatrix}~

固有値分解の手順

固有値、固有ベクトルを求める

先ほど求めた固有値と固有ベクトルは、
（便宜上 $\lambda_1>\lambda_2$とする）

\lambda_1=5のとき、\vec{x_1}=s_1
\begin{pmatrix}
1 \\
1
\end{pmatrix}\\

\lambda_2=-1_2のとき、\vec{x_2}=s_2
\begin{pmatrix}
2 \\
-1
\end{pmatrix}=s_2\times2
\begin{pmatrix}
1 \\
-\frac{1}{2}
\end{pmatrix}

ここでは固有ベクトルはどんな定数倍でもよいので、上記の$\vec{x_2}$では定数の部分を$s_2\times2$として、ベクトル部分を$\begin{pmatrix}1 \\ -\frac{1}{2} \end{pmatrix}$としている。

固有値を対角線上に並べて行列$\Lambda$をつくる

\Lambda=
\begin{pmatrix}
\lambda_1 & 0 \\
0 & \lambda_2
\end{pmatrix}=
\begin{pmatrix}
5 & 0\\
0 & -1
\end{pmatrix}

固有ベクトルを並べて行列$V$をつくる

これより、$V$は以下となる。

V=\biggl(\vec{x_1} \quad \vec{x_2}\biggr)=
\begin{pmatrix}
1 & 1 \\
1 & -\frac{1}{2}
\end{pmatrix}

逆行列$ V^{-1} $を求める

次に$V^{-1}$を先に述べた２×２行列の場合の逆行列の求め方より計算する。

\begin{aligned}
V^{-1}
&=
\begin{pmatrix}
1 & 1 \\
1 & -\frac{1}{2}
\end{pmatrix}^{-1}\\
&=
\frac{1}{1\cdot\bigl(-\frac{1}{2}\bigr)-1\cdot1}
\cdot
\begin{pmatrix}
-\frac{1}{2} & -1 \\
-1 & 1
\end{pmatrix}\\
&=
-\frac{2}{3}\begin{pmatrix}
-\frac{1}{2} & -1 \\
-1 & 1
\end{pmatrix}\\
&=\begin{pmatrix}
\frac{1}{3} & \frac{2}{3} \\
\frac{2}{3} & -\frac{2}{3}
\end{pmatrix}
\end{aligned}\

固有値分解の式にあてはめる

もとの行列$A$とこれまで求めた$V, \Lambda, V^{-1}$を固有値分解の式 $A=V\Lambda V^{-1}$ にあてはめて、固有値分解が完成する。

~\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}=
\begin{pmatrix}
1 & 1 \\
1 & -\frac{1}{2}
\end{pmatrix}
\begin{pmatrix}
5 & 0 \\
0 & -1
\end{pmatrix}
\begin{pmatrix}
\frac{1}{3} & \frac{2}{3} \\
\frac{2}{3} & -\frac{2}{3}
\end{pmatrix}~

ちなみに先ほど定数部分を変えた$\vec{x_2}$をそのまま使って固有値分解すると以下のようになる。

\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}=
\begin{pmatrix}
1 & 2 \\
1 & -1
\end{pmatrix}
\begin{pmatrix}
5 & 0 \\
0 & -1
\end{pmatrix}
\begin{pmatrix}
\frac{1}{3} & \frac{2}{3} \\
\frac{1}{3} & -\frac{1}{3}
\end{pmatrix}

特異値分解

$~m\times n~$行列（正方行列でない行列）も、正方行列での固有値分解と似たような分解ができる。これを特異値分解という。

零行列$O$（すべての要素が$0$の行列）ではない任意の$m\times n$行列$M$に対して、

   M\ \vec{v}=\sigma\vec{u}~,\qquad
   M^T\vec{u}=\sigma\vec{v}~

となる$~\sigma~(>0)~$を__特異値__といい、$m$次元ベクトル$~\vec{u}~(\neq\vec{0})~~$、$n$次元ベクトル$~\vec{v}~(\neq\vec{0})~$をそれぞれ、左特異ベクトル、__右特異ベクトル__という。

この左特異ベクトル$~\vec{u}~$、右特異ベクトル$~\vec{v}~$を以下のように並べた行列を、右特異行列$~U~$、左特異行列$~V~$という。

~
\begin{align}

U &=
\begin{pmatrix}
  \vec{u_1} & \vec{u_2} & \cdots & \vec{u_m}
\end{pmatrix} \\

V &=
\begin{pmatrix}
  \vec{v_1} & \vec{v_2} & \cdots & \vec{v_n} 
\end{pmatrix}

\end{align}
~

また、特異値 $\sigma$ を対角要素に並べたものを行列 $S$ とし、この行列 $S$ の形は元の行列 $M$ の形と同じ$~m\times n~$行列となる。（$S$ を $\Sigma$ と表記することも多い。）

このとき、$\sigma$は大きい順$~(\sigma_1>\sigma_2>\cdots)~$に並べることに注意。

~\underset{m\times n}{S}=
\begin{pmatrix}
  \sigma_1 & 0 & 0\\
  0 & \sigma_2 & 0\\
  0 & 0 & \ddots
\end{pmatrix}~

行列$M$の特異値分解は以下のように表される。

~\large \underset{\tiny m\times n~~}{M}=\underset{\tiny m\times m~~~}{U}~\underset{\tiny m\times n}{S}~\underset{\tiny n\times n~~~~~~}{V^{\small -1}}~

※ただし、$U$と$V$は直交行列

特異値、特異ベクトルの求め方

$\qquad \qquad \qquad MV=US\rightarrow$（両辺の右から$V^{-1}$を掛ける）$\rightarrow M=USV^{-1}~$
$\qquad \qquad \qquad M^TU=VS^T\rightarrow$（両辺の右から$U^{-1}$を掛ける）$\rightarrow M^T=VS^TU^{-1}$

この２つの式を $MM^T$ に代入すると、

\begin{align}
MM^T
 &= USV^{-1}VS^TU^{-1} \\
 &= USS^TU^{-1}
\end{align}

これは正方行列 $MM^T$ を固有値分解したものと捉えることができる。

~
\large \underset{A}{\underline{MM^T}}
 = \underset{V}{\underline{U}}~
   \underset{\Lambda}{\underline{SS^T}}~
   \underset{V^{-1}}{\underline{U^{-1}}}
~

つまり、$~MM^T~$から求めた固有値と固有ベクトルから、行列$~M~$の特異値と左特異ベクトルを求めることができるということである。

$~MM^T~$の固有値 $\lambda$ を要素に持つ $SS^T$ は、以下のように特異値 $\sigma$ の二乗を対角要素に並べた行列となるため、特異値は $~\sigma = \sqrt{\lambda}~$ で求めることができる。

~SS^T=
\begin{pmatrix}
  \lambda_1 & 0 & 0\\
  0 & \lambda_2 & 0\\
  0 & 0 & \ddots
\end{pmatrix}=
\begin{pmatrix}
  {\sigma_1}^2 & 0 & 0\\
  0 & {\sigma_2}^2 & 0\\
  0 & 0 & \ddots
\end{pmatrix}~

また、固有ベクトルと同じ向きの__単位ベクトル__を求めた結果が左特異ベクトルということである。単位ベクトルとは、大きさが「１」になるように調整したベクトルであり以下の式で求めることができる。

~
単位ベクトル
 = \dfrac{1}{|\vec{a}|}~\vec{a}
 = \dfrac{1}{\sqrt{{a_1}^2+{a_2}^2+\cdots+{a_n}^2}}~\vec{a}
~

同様に $M^TM$ の固有値と固有ベクトルから、特異値と右特異ベクトルを求めることができる。

\begin{align}
M^TM
 &= VS^TU^{-1}USV^{-1} \\
 &= VS^TSV^{-1}
\end{align}

\large \underset{A}{\underline{M^TM}}
 = \underset{V}{\underline{V}}~
   \underset{\Lambda}{\underline{S^TS}}~
   \underset{V^{-1}}{\underline{V^{-1}}}

特異値分解の手順

以下の行列$~M~$を特異値分解を考える。

M=
\begin{pmatrix}
   1 & 2 & 3\\
   3 & 2 & 1
\end{pmatrix}

左特異行列 U を求める

• $~MM^T~$を求める

MM^T=
\begin{pmatrix}
   1 & 2 & 3\\
   3 & 2 & 1
\end{pmatrix}
\begin{pmatrix}
   1 & 3\\
   2 & 2\\
   3 & 1
\end{pmatrix}=
\begin{pmatrix}
   14 & 10\\
   10 & 14
\end{pmatrix}

• $MM^T~$ の固有値 $\lambda$ を求める

\quad
\begin{align}
\lambda_1&=24 \\
\lambda_2&=4
\end{align}
\quad

• 左特異ベクトル$~\vec{u}~$を求める

$MM^T~$ の固有ベクトルを求め、その固有ベクトルと同じ向きの単位ベクトルを計算して左特異ベクトル$~\vec{u}~$を求める。

　　　$(i)~\lambda_1=24~$のときの左特異ベクトル $\vec{u}_1$ は、

\quad
\boldsymbol{u}_1=
\begin{pmatrix}
   \frac{1}{\sqrt{2}} \\
   \frac{1}{\sqrt{2}}
\end{pmatrix}
\quad

　　　$(ii)~\lambda_2=4~$のときの左特異ベクトル $\vec{u}_2$ は、

\quad
\boldsymbol{u}_2=
\begin{pmatrix}
   -\frac{1}{\sqrt{2}} \\
   \frac{1}{\sqrt{2}}
\end{pmatrix}
\quad

• 左特異行列$~U~$を求める

U=
\begin{pmatrix}
\vec{u}_1 & \vec{u}_2
\end{pmatrix}=
\begin{pmatrix}
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}
\end{pmatrix}

特異値を対角要素とする行列 S を求める

• 固有値 $\lambda$ から特異値 $\sigma$ を求める（$~\sigma=\sqrt{\lambda}~$）

\begin{align}
\sigma_1&=\sqrt{\lambda_1}=\sqrt{24}=2\sqrt{6} \\
\sigma_2&=\sqrt{\lambda_2}=\sqrt{4}=2
\end{align}

• 特異値を対角要素とする行列$~S~$を求める

特異値$~{\sigma}~$を大きい順に対角要素に並べ、行列$~S~$をつくる。
（行列$~S~$の形は元の行列$~M~$と同じなので$2\times 3$行列）

S=
\begin{pmatrix}
\sigma_1 & 0 & 0\\
0 & \sigma_2 & 0
\end{pmatrix}=
\begin{pmatrix}
24 & 0 & 0 \\
0  & 4 & 0
\end{pmatrix}

右特異行列 V を求める

• $~M^TM~$を求める

M^TM=
\begin{pmatrix}
   1 & 3\\
   2 & 2\\
   3 & 1
\end{pmatrix}
\begin{pmatrix}
   1 & 2 & 3\\
   3 & 2 & 1
\end{pmatrix}=
\begin{pmatrix}
   10 &  8 &  6\\
    8 &  8 &  8\\
    6 &  8 & 10
\end{pmatrix}

• $M^TM~$ の固有値 $\lambda$ を求める

\quad
\begin{align}
\lambda_1&=24 \\
\lambda_2&=4 \\
\lambda_3&=0
\end{align}
\quad

• 右特異ベクトル$~\vec{v}~$を求める

$M^TM~$ の固有ベクトルを求め、その固有ベクトルと同じ向きの単位ベクトルを計算して右特異ベクトル$~\vec{v}~$を求める。

　　　$(i)~\lambda_1=24~$のときの右特異ベクトル $\vec{v}_1$ は、

\quad
\boldsymbol{v}_1=
\begin{pmatrix}
   \frac{1}{\sqrt{3}} \\
   \frac{1}{\sqrt{3}} \\
   \frac{1}{\sqrt{3}}
\end{pmatrix}
\quad

　　　$(ii)~\lambda_2=4~$のときの右特異ベクトル $\vec{v}_2$ は、

\quad
\boldsymbol{v}_2=
\begin{pmatrix}
   \frac{1}{\sqrt{2}} \\
   0 \\
   -\frac{1}{\sqrt{2}}
\end{pmatrix}
\quad

　　　$(iii)~\lambda_3=0~$のときの右特異ベクトル $\vec{v}_3$ は、

\quad
\boldsymbol{v}_2=
\begin{pmatrix}
   \frac{1}{\sqrt{6}} \\
   -\frac{2}{\sqrt{6}} \\
   \frac{1}{\sqrt{6}}
\end{pmatrix}
\quad

• 右特異行列$~V~$を求める

V=
\begin{pmatrix}
\vec{v}_1 & \vec{v}_2 & \vec{v}_3
\end{pmatrix}=
\begin{pmatrix}
   \frac{1}{\sqrt{3}} & \frac{1}{\sqrt{2}}  & \frac{1}{\sqrt{6}} \\
   \frac{1}{\sqrt{3}} & 0                   & -\frac{2}{\sqrt{6}} \\
   \frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}}
\end{pmatrix}

特異値分解の式にあてはめる

\begin{align}
M=
\begin{pmatrix}
   1 & 2 & 3\\
   3 & 2 & 1
\end{pmatrix}
&=
\begin{pmatrix}
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}
\end{pmatrix}
\begin{pmatrix}
24 & 0 & 0 \\
0  & 4 & 0
\end{pmatrix}
\begin{pmatrix}
   \frac{1}{\sqrt{3}} & \frac{1}{\sqrt{2}}  & \frac{1}{\sqrt{6}} \\
   \frac{1}{\sqrt{3}} & 0                   & -\frac{2}{\sqrt{6}} \\
   \frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}}
\end{pmatrix}^{-1} \\
&=
\begin{pmatrix}
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}
\end{pmatrix}
\begin{pmatrix}
24 & 0 & 0 \\
0  & 4 & 0
\end{pmatrix}
\begin{pmatrix}
   \frac{1}{\sqrt{3}} & \frac{1}{\sqrt{3}}  & \frac{1}{\sqrt{3}} \\
   \frac{1}{\sqrt{2}} & 0                   & -\frac{1}{\sqrt{2}} \\
   \frac{1}{\sqrt{6}} & -\frac{2}{\sqrt{6}} & \frac{1}{\sqrt{6}}
\end{pmatrix}
\end{align}

＜参考動画＞

第２章　確率・統計

条件付き確率

確率

頻度確率：発生する頻度（客観確率ともいう）
例）「10本のうち1本だけ当たりのクジを引いて、当選する確率を調べたところ10%であった」という事実

ベイズ確率：信念の度合い（主観確率ともいう）
例）「あなたは40%の確率でインフルエンザです」という診断

条件付き確率

ある事象$B$が与えられた下で、$A$となる確率は以下のように表される。

\begin{aligned}
P(A|B)&=\frac{P(A\cap B)}{P(B)}\\
&=\frac{n(A\cap B)}{n(B)}
\end{aligned}

独立な事象の同時確率

事象$A$と事象$B$が同時に起こる確率は、以下のように表される。

P(A\cap B)=P(A)P(B|A)

また、お互いの発生には因果関係のない事象$A$と事象$B$の場合、以下が成り立つ。

P(B|A)=P(B)

つまり、お互いの発生には因果関係のない事象$A$と事象$B$が同時に発生する確率は以下となる。

\begin{aligned}
P(A\cap B)&=P(A)P(B|A)\\
&=P(A)P(B)
\end{aligned}

ベイズ則の概要

ベイズ則

ベイズの定理

P(A|B)=\frac{P(B|A)P(A)}{P(B)}

例題

ある街の子どもたちは毎日$1/4$の確率で飴玉をもらうことができ，飴玉をもらうと$1/2$の確率で笑顔になるという。その街の，笑顔な子どもが飴玉をもらっている確率を求めよ。（ただし，この街の子どもたちが笑顔でいる確率は$1/3$である。）

この例題の文章から以下がわかる。

　①$~ P(飴玉)=\frac{1}{4} \quad \qquad「1/4の確率で飴玉をもらう」$
　②$~ P(笑顔|飴玉)=\frac{1}{2} ~\quad「飴玉をもらうと1/2の確率で笑顔になる」$
　③$~ P(笑顔)=\frac{1}{3} \quad \qquad「笑顔でいる確率は1/3である」$

求めたいのは「笑顔な子どもが飴玉をもらっている確率」なので、以下を求めるということになる。

P(飴玉|笑顔)

$P(A)P(B|A)=P(B)P(A|B)$から、

P(A|B)=\frac{P(B|A)P(A)}{P(B)}

$A$を飴玉、$B$を笑顔として、ベイズの定理に当てはめると、

\begin{aligned}
\qquad P(飴玉|笑顔)=&\frac{P(笑顔|飴玉)P(飴玉)\qquad}{P(笑顔)}\qquad \\
=&\frac{\frac{1}{2}\cdot\frac{1}{4}}{\frac{1}{3}}=\frac{\frac{1}{8}}{\frac{1}{3}}\\
=&\frac{3}{8}
\end{aligned}

よって「笑顔な子どもが飴玉をもらっている確率」は、$\frac{3}{8}$である。

＜参考動画＞

確率変数と確率分布

確率変数
・事象と結び付けられた数値
・事象そのものを指すと解釈する場合も多い

確率分布
・事象の発生する確率の分布
・離散値であれば表に示せる

期待値・分散の求め方

期待値

その分布における確率変数の平均の値または「ありえそう」な値のことを__期待値__という。

離散型確率変数の期待値

E(f)=\sum_{k=1}^{n} P(X=x_k)~f(X=x_k)

連続型確率変数の期待値

E(f)=\int P(X=x)~f(X=x)~dx

分散と共分散

分散
・データの散らばり具合
・データの各々の値が、期待値からどれだけズレているのか平均したもの

\begin{aligned}
分散~Var(f)&=E\Bigl(\bigl(f_{(X=x)}-E(f)\bigr)^2\Bigr)~\\
&=E\bigl(f^2_{(X=x)}\bigr)-\bigl(E(f)\bigr)^2
\end{aligned}

共分散
・２つのデータ系列の傾向の違い
　- 正の値をとれば、似た傾向
　- 負の値をとれば、逆の傾向
　- ゼロをとれば、関係性に乏しい

\begin{aligned}
共分散~Cov(f,g)&=E\Bigl(\bigl(f_{(X=x)}-E(f)\bigr)\bigl(g_{(Y=y)}-E(g)\bigr)\Bigr)~\\
&=E(fg)-E(f)E(g)
\end{aligned}

分散と標準偏差

分散は２乗してしまっている（このことから分散を$\sigma^2$とも表す。）ので元のデータと単位が変わってしまているので、平方根（２乗の逆演算）を求めて元の単位に戻す。

\begin{aligned}
標準偏差~\sigma&=\sqrt{Var(f)}\\
&=\sqrt{E\Bigl(\bigl(f_{(X=x)}-E(f)\bigr)^2\Bigr)}
\end{aligned}

様々な確率分布の概要

様々な確率分布I

ベルヌーイ分布
・コイントスのイメージ
・裏と表で出る割合が等しくなくとも扱える

P(x|\mu)=\mu^x(1-\mu)^{1-x}

マルチヌーイ（カテゴリカル）分布
・さいころを転がすイメージ
・各面の出る割合が等しくなくとも扱える

様々な確率分布II

二項分布
・ベルヌーイ分布の多試行版

P(x|\lambda,n)=\frac{n!}{x!(n-x)!}\lambda^x(1-\lambda)^{n-x}

ガウス分布
・釣鐘型の連続分布

\mathcal{N}(x;\mu,\sigma^2)=\sqrt{\frac{1}{2\pi\sigma^2}}exp\Bigl(-\frac{1}{2\sigma^2}(x-\mu)^2\Bigr)

第３章　情報理論

自己情報量・シャノンエントロピーの定義

自己情報量

I(x)=-\log\bigl(P(x)\bigr)=\log\bigl(W(x)\bigr)

情報量の単位
・対数の底が２のとき，単位はビット$(bit)$
・対数の底がネイピアの$e$のとき，単位は$(nat)$

シャノンエントロピー

・平均情報量、情報エントロピーともいう。
・微分エントロピーともいうが，微分しているわけではない
　（differentialの誤訳か？）
・自己情報量の期待値

\begin{aligned}
H(x)&=E\bigl(I(x)\bigr)\\
&=-E\Bigl(\log\bigl(P(x)\bigr)\Bigr)\\
&=-\sum\Bigl(P(x)\log\bigl(P(x)\bigr)\Bigr)
\end{aligned}

KLダイバージェンス・交差エントロピーの概要

カルバック・ライブラー ダイバージェンス

・同じ事象・確率変数における異なる確率分布P,Qの違いを表す

\begin{aligned}
D_{\mathrm{KL}}(P||Q)&=\mathbb{E}_{\mathrm x\sim P}\Bigl[\log\frac{P(x)}{Q(x)}\Bigr]\\
&=\mathbb{E}_{\mathrm x\sim P}[\log P(x)-\log Q(x)]
\end{aligned}

ここで$\log P(x)-\log Q(x)$を考えると、

\begin{aligned}
\log P(x)-\log Q(x)&=\Bigl(-\log\bigl(Q(x)\bigr)\Bigr)-\Bigl(-\log\bigl(P(x)\bigr)\Bigr)\\
&=I\bigl(Q(x)\bigr)-I\bigl(P(x)\bigr)
\end{aligned}

平均値（期待値）は以下で表される、

E\bigl(f(x)\bigr)=\sum_x P(x)f(x)

これを使って表現すると、

\begin{aligned}
D_{\mathrm{KL}}(P||Q)&=\sum_x P(x)\Bigl\{\Bigl(-\log\bigl(Q(x)\bigr)\Bigr)-\Bigl(-\log\bigl(P(x)\bigr)\Bigr)\Bigr\}\\
&=\sum_x P(x)\log\frac{P(x)}{Q(x)}
\end{aligned}

シャノンエントロピーの「$-\sum P(x)\log P(x)~$」に似ている。

KLダイバージェンスはマイナスにはならない。

交差エントロピー

__交差エントロピー__は、以下の通りKLダイバージェンスの一部分を取り出したものである。

\begin{aligned}
D_{\mathrm{KL}}(P||Q)&=\sum_x P(x)\Bigl\{\Bigl(-\log\bigl(Q(x)\bigr)\Bigr)-\Bigl(-\log\bigl(P(x)\bigr)\Bigr)\Bigr\}\\
&=\sum_x \Bigl\{\Bigl(-P(x)\log\bigl(Q(x)\bigr)\Bigr)-\Bigl(-P(x)\log\bigl(P(x)\bigr)\Bigr)\Bigr\}\\
&=\sum_x \Bigl(-P(x)\log\bigl(Q(x)\bigr)\Bigr)-\sum_x \Bigl(-P(x)\log\bigl(P(x)\bigr)\Bigr)\\
&=-\sum_x P(x)\log\bigl(Q(x)\bigr)-\Bigl(-\sum_x P(x)\log\bigl(P(x)\bigr)\Bigr)\\
&=H(P,Q)-H(P)
\end{aligned}

つまり、交差エントロピーは以下ということであり、$Q$についての自己情報量を$P$の分布で平均しているということである。

\begin{aligned}
H(P,Q)&=-\mathbb{E}_{\mathrm x\sim P}\log Q(x)\\
&=-\sum_x P(x)\log Q(x)
\end{aligned}