ラビットチャレンジ（応用数学）

1. 線形代数

スカラーとベクトルの違い

＜スカラー＞
•だいたい、いわゆる普通の数
•＋−×÷の演算が可能
•ベクトルに対する係数になれる

＜ベクトル＞
•「大きさ」と「向き」を持つ
•矢印で図示される
•スカラーのセットで表示される

行列

•スカラーを表にしたもの
•ベクトルを並べたもの（ベクトルのベクトル）

単位行列

任意のn次正方行列 A に対して、次の式が成り立つ n次正方行列 Iのこと。

IA=AI=A

逆行列

ある行列 A に対して、かけ算すると単位行列 I になるもので、$A^ {-1}$と表す。

AA ^ {-1} = A ^ {-1} A = I

行列式が0のとき、逆行列は存在しない。
逆行列は掃き出し法により解くことが可能
例）

\begin{align}
&(A)=\left(\begin{array}{}
1 & 3 & 2 \\
-1 & 0 & 1 \\
2 & 3 & 0 
\end{array}\right)
\end{align}の時A^{-1}を求める　　\\

　　　　　　　掃き出し法

(A|E)=\left(\begin{array}{ccc|ccc}
1 & 3 & 2 & 1 & 0 & 0\\
-1 & 0 & 1 & 0 & 1 & 0\\
2 & 3 & 0 & 0 & 0 & 1
\end{array}\right)

　　　　　　　2行目に1行目をたす
　　　　　　　3行目から1行目×2を引く

  =\left(\begin{array}{ccc|ccc}
1 & 3 & 2 & 1 & 0 & 0 \\
0 & 3 & 3 & 1 & 1 & 0 \\
0 & -3 & -4 & -2 & 0 & 1
\end{array}\right)

　　　　　　　1行目から2行目を引く
　　　　　　　3行目に2行目をたす
　　　　　　　2行目を1/3倍する

  =\left(\begin{array}{ccc|ccc}
1 & 0 & -1 & 0 & -1 & 0\\
0 & 1 & 1 & 1/3 & 1/3 & 0\\
0 & 0 & 1 & -1 & 1 & 1
\end{array}\right)

　　　　　　　1行目から3行目を引く
　　　　　　　2行目に3行目をたす
　　　　　　　3行目を-1倍する

  =\left(\begin{array}{ccc|ccc}
1 & 0 & 0 & 0 & -2 & -1\\
0 & 1 & 0 & -2/3 & 4/3 & 1\\
0 & 0 & 1 & 1 & -1 & -1
\end{array}\right)

　
※行列はどこからやってきた？
連立方程式の研究の中から生まれた！らしい
ということなので
連立1次方程式を解いてみる

\begin{array}{l}
\left\{\begin{array}{l}
x_{1}+4 x_{2}=7 \\
2 x_{1}+6 x_{2}=10
\end{array}\right. \\
\\

\begin{array}{l}
\left(\begin{array}{cc}
1 & 4 \\
2 & 6
\end{array}\right)
\left(\begin{array}{l}
x_{1} \\
x_{2}
\end{array}\right)=

\left(\begin{array}{c}
7 \\
10
\end{array}\right) \\
※両辺左に逆行列をかける\\
\left(\begin{array}{cc}
-3 & 2 \\
1 & -\frac{1}{2}
\end{array}\right)
\left(\begin{array}{cc}
1 & 4 \\
2 & 6
\end{array}\right)
\left(\begin{array}{l}
x_{1} \\
x_{2}
\end{array}\right)=
\left(\begin{array}{cc}
-3 & 2 \\
1 & -\frac{1}{2}
\end{array}\right)
\left(\begin{array}{c}
7 \\
10
\end{array}\right) \\



\left(\begin{array}{cc}
1 & 0 \\
0 & 1
\end{array}\right)
\left(\begin{array}{l}
x_{1} \\
x_{2}
\end{array}\right)=
\left(\begin{array}{cc}
-3 & 2 \\
1 & -\frac{1}{2}
\end{array}\right)
\left(\begin{array}{c}
7 \\
10
\end{array}\right) \\
\left(\begin{array}{cc}
x_{1} \\
x_{2}
\end{array}\right)=
\left(\begin{array}{l}
-1 \\
2
\end{array}\right)
\end{array}
\end{array}

行列式

逆行列の有無を判別する
ある行列が２つの横ベクトルの組み合わせだと考えたとき
でつくられる平行四辺形の面積が、逆行列の有無を判別する
この「面積」を𝑎𝑏𝑐𝑑=⃗𝑣0⃗𝑣1と表し行列式と呼ぶ
2行2列の行列式

|A|=\left|\begin{array}{ll}a & b \\c & d\end{array}\right|=a d-b c

3行3列の行列式

|A|=\left|\begin{array}{lll}
a & b & c \\
d & e & f \\
g & h & i
\end{array}\right|=\left|\begin{array}{lll}
a & b & c \\
0 & e & f \\
0 & h & i
\end{array}\right|+\left|\begin{array}{lll}
0 & b & c \\
d & e & f \\
0 & h & i
\end{array}\right|+\left|\begin{array}{lll}
0 & b & c \\
0 & e & f \\
g & h & i
\end{array}\right|\\

=a\left|\begin{array}{cc}
e & f \\
h & i
\end{array}\right|-d\left|\begin{array}{ll}
b & c \\
h & i
\end{array}\right|+g\left|\begin{array}{cc}
b & c \\
e & f
\end{array}\right|\\

固有値と固有ベクトル

ある行列Aに対して，以下のような式が成り立つような，特殊なベクトル$\overrightarrow {x}$と，右辺の係数λがある

A\overrightarrow {x} =λ\overrightarrow {x} 

この特殊なベクトル$\overrightarrow {x}$とその係数λを，行列Aに対する，固有ベクトル，固有値という。

\left(\begin{array}{cc}
1 & 2 \\
3 & 4
\end{array}\right)
\left(\begin{array}{l}
1 \\
1
\end{array}\right)=
\left(\begin{array}{l}
5 \\
5
\end{array}\right)=5
\left(\begin{array}{l}1 \\1\end{array}\right)

　

固有値𝜆=5\\
固有値ベクトル（のうちの一つ）
\overrightarrow {x}=\left(\begin{array}{l}
1 \\
1
\end{array}\right)

固有値分解

正方行列Aを固有値を対角線上に並べた行列Λ、固有ベクトルを並べた行列V、固有ベクトルを並べた行列の逆行列V$^{−1}$に分解することを固有値分解という。

ある実数を正方形にならべて作られた行列Aが固有値λ1, λ2, λ3,・・・と固有ベクトルv1→, v2→, v3→, ・・・を持ったとする。
この固有値を対角線上に並べた行列Λと、それに対応する固有v1ベクトルを並べた行列Vを用意する。

Λ=\left(\begin{array}{ccc|ccc}
λ1 & 0 & 0 \\
0 & λ2 & 0 \\ 
0 & 0 & λ3 
\end{array}\right)   　　V=(v1　v2　v3) 

それらは

AV=VΛ

と関係付けられる。したがって、

A=VΛV^{−1}

と変形できる。
このように正方形の行列を上述の様な３つの行列の積に変換することを固有値分解という。
この変換によって行列の累乗の計算が容易になる等の利点がある。

例）

\left(\begin{array}{ll}
2 & 1 \\
0 & 6
\end{array}\right) \text { を固有值分解せよ }

\mathrm{A} \vec{x}=\lambda \vec{x} \\

(A-\lambda I) \vec{x}=\overrightarrow{0} \\

\vec{x} \neq \overrightarrow{0} よ り \\

|A-\lambda I|=0 \\

\left|\begin{array}{cc}
2-\lambda & 1 \\
0 & 6-\lambda
\end{array}\right|=0 \\

(2-\lambda)(6-\lambda)=0 \\

\lambda=2 \text { or } 6 \\

\left(\begin{array}{ll}
2 & 1 \\
0 & 6
\end{array}\right)
\left(\begin{array}{l}
x_{1} \\
x_{2}
\end{array}\right)=2
\left(\begin{array}{l}
x_{1} \\
x_{2}
\end{array}\right) 
\text {よって} \ x_{2}=0\\

\left(\begin{array}{ll}
2 & 1 \\
0 & 6
\end{array}\right)
\left(\begin{array}{l}
x_{1} \\
x_{2}
\end{array}\right)=6
\left(\begin{array}{l}
x_{1} \\
x_{2}
\end{array}\right) 
\text { よって } 
\ x_{1} = x_{2} 

\begin{array}{l}
\\
したがって\\
\lambda=2 の \text { と き } \vec{x}=\left(\begin{array}{l}
1 \\
0
\end{array}\right) \text { の定数倍 }\\
\lambda=6 の \text { と き } \vec{x}=\left(\begin{array}{l}
1 \\
4
\end{array}\right) \text { の定数倍 }\\\\
つまり\\

\begin{array}{ll}
\left(\begin{array}{ll}
2 & 1 \\
0 & 6
\end{array}\right)=\left(\begin{array}{ll}
1 & 1 \\
0 & 4
\end{array}\right)\left(\begin{array}{ll}
2 & 0 \\
0 & 6
\end{array}\right)\left(\begin{array}{ll}
1 & 1 \\
0 & 4
\end{array}\right)^{-1} \\
\left(\begin{array}{ll}
2 & 1 \\
0 & 6
\end{array}\right)=\left(\begin{array}{ll}
1 & 1 \\
0 & 4
\end{array}\right)\left(\begin{array}{ll}
2 & 0 \\
0 & 6
\end{array}\right)\left(\begin{array}{ll}
1 & -1 / 4 \\
0 & 1 / 4
\end{array}\right)
\end{array}
\end{array}

特異値分解

正方行列に対してのみ可能な固有値分解に対して特異値分解は長方形の形をした長方行列に対して行える分解方法。

\begin{array}{l}
M \vec{v}=\sigma \vec{u} \\
M^{T} \vec{u}=\sigma \vec{v}
\end{array}

このような特殊な単位ベクトルがあるならば特異値分解できる

M=U S V^{-1}

＜特異値の求め方＞

\begin{array}{l}
M V=U S \\
M=U S V^{-1} \\

\\
M^{\top} U=V S^{\top}\\
M^{\top}=V S^{\top} U^{-1}\\
\end{array}

これより

M M^{\top}=U S V^{-1} V S^{\top} U^{-1}=U S S^{\top} U^{-1}\\

つまり$𝑀𝑀^{\top}$を固有値分解すれば，その左特異ベクトルと特異値の2乗が求められることがわかる。
同様に

M^{\top}M=V S^{\top} U^{-1}U S V^{-1} =V S S^{\top} V^{-1}\\

つまり$𝑀^{\top}M$を固有値分解すれば，その右特異ベクトルと特異値の2乗が求められることがわかる。

2. 確率・統計

確率は大きく頻度確率(客観確率)とベイズ確率(主観確率)に分けられる。

頻度確率(客観確率)
　•発生する頻度
　•例:「10本のうち一本だけ当たりのクジを引いて当選する確率を調べたところ10%であった」という事実

ベイズ確率(主観確率)
　•信念の度合い
　•例:「あなたは40%の確率でインフレンザです」という診断

確率の定義

P(A)=\dfrac{n(A)} {n(U)}  

条件付き確率

事象A起きたとき、事象Bが起こる確率P(B|A)

P(B|A)=\frac{P(A∩B)}{P(A)}

独立な事象の同時確率

事象AAと事象BBが独立である場合、

P(A∩B)=P(A)P(B)

ベイズ則

P(A|B)=\frac{P(A)P(B|A)}{P(B)}

例）
ある街の子どもたちは毎日1/4の確率で飴玉をもらうことができる。
飴玉をもらうと1/2の確率で笑顔になる。
その街の，笑顔な子どもが飴玉をもらっている確率を求めよ。
(ただし，この街の子どもたちが笑顔でいる確率は1/3である。)

　条件は
　　P(飴玉)=1/4
　　P(笑顔|飴玉)=1/2
　　P(笑顔)=1/3

　これより
　　P(飴玉|笑顔)を求める。

　P(飴玉|笑顔)=P(笑顔|飴玉)×P(飴玉)÷P(笑顔)
　　　　　　　=1/4 × 1/2 ÷ 1/3
　　　　　　　=3/8　　←　答え

確率変数

•事象と結び付けられた数値
•事象そのものを指すと解釈する場合も多い

確率分布

•事象の発生する確率の分布
•離散値であれば表に示せる

期待値

•その分布における，確率変数の平均の値　or 「ありえそう」な値

E(f(X))=\sum^{n}_{k = 1}P(X=x_{k})f(X=x_{k})

連続値の場合の期待値E(f(X))E(f(X))の定義は

E(f(X))=\int_{-\infty}^{\infty}P(X=x)f(X=x)dx

分散

•データの散らばり具合
•データの各々の値が，期待値からどれだけズレているのか平均したもの

Var(f(X))=E((f(X=x)−E(f(x)))^2)=E(f(X)^2)−(E(f(X)))^2

共分散

•２つのデータ系列の傾向の違い
•正の値を取れば似た傾向
•負の値を取れば逆の傾向
•ゼロを取れば関係性に乏しい

Cov(𝑓,𝑔)=E((𝑓_{(X=x)}−E(𝑓))(𝑔_{(Y=y)}−E(𝑔)))=E(𝑓𝑔)−E(𝑓)E(𝑔)

標準偏差

分散の平方根を取ると標準偏差となる。

ベルヌーイ分布

•二択の確立分布
•コイントスのイメージ（表or裏）
•裏と表で出る割合が等しくなくても良い

マルチヌーイ（カテゴリカル）分布

•ダイスのイメージ(1,2,3,4,5,6)
•各面の出る割合が等しくなくても良い

二項分布

•ベルヌーイ分布の多試行版

正規分布(ガウス分布)

•釣鐘型の連続分布

3. 情報理論

自己情報量

•対数の底が2のとき，単位はビット(bit)
•対数の底がネイピアのeのとき，単位は(nat)

I(x)=log⁡\frac{1}{P(x)}=log⁡(P(x))−1=−log⁡P(x)

シャノンエントロピー

•自己情報量の期待値

H(x)=E(I(x))=−E(log⁡(P(x)))=−∑P(x)log⁡P(x)

カルバック・ライブラーダイバージェンス

•同じ事象・確率変数における異なる確率分布PP、QQの違いを表す

D_{KL}(P||Q)=E_{X∼P}[log\frac {P(x)}{Q(x)}]=E_{X∼P}[log⁡P(x)−log⁡Q(x)]

交差エントロピー

•KLダイバージェンスの一部分を取り出したもの
•QQについての自己情報量をPPの分布で平均している

H(P,Q)=H(P)+D_{KL}(P||Q)