ラビットチャレンジ 応用数学

ラビットチャレンジ　応用数学のレポートです。

線形代数

連立一次方程式

連立方程式を表列を用いて表すことができる。
例：
$$
\begin{cases}
x_1 + 2x_2 = 3\
2x_1 + 5x_2 +5
\end{cases}
\tag{1}
$$
（1）を$ax = b$みたいに$A \boldsymbol{x} + \boldsymbol{b}$と表すと
$$
\begin{pmatrix}
1 & 2 \
2 & 5
\end{pmatrix}
\begin{pmatrix}
x_1 \
x_2
\end{pmatrix}=
\begin{pmatrix}
3 \
5
\end{pmatrix}
\tag{2}
$$
(2)のように書ける。

連立一次方程式の解き方

・i行目をc倍する
・s行目にt行目のc倍を加える
・p行目とq行目を入れ替える
といった行基本変形を行なっていく。
$$
\begin{pmatrix}
1 & 0 \
0 & 1
\end{pmatrix}
\begin{pmatrix}
x_1 \
x_2
\end{pmatrix}=
\begin{pmatrix}
-1 \
2
\end{pmatrix}
\tag{3}
$$

固有値と固有ベクトル

ある行列$A$に対して、以下のような式が成り立つような、特殊なベクトル$\boldsymbol{x}$と、右辺の係数$\lambda$がある。
$$A\boldsymbol{x} = \lambda \boldsymbol{x} \tag{4}$$
この特殊なベクトル$\boldsymbol{x}$とその係数$\lambda$を、行列$A$に対する、固有ベクトル、固有値という。

固有値分解

ある実数を正方形にならべて作られた行列$A$が固有値$\lambda_1 ,\lambda_2, \dots$と固有ベクトル$\boldsymbol{v}_1,\boldsymbol{v}_2,\dots$を持ったとする。
この固有値を対角線上に並べた行列（それ以外の成分は0）
$$
\Lambda = \begin{pmatrix}
\lambda_1 & & \
& \lambda_2 & \
& & \ddots
\end{pmatrix}
$$
とそれに対応する固有ベクトルを並べた行列
$$V = (\boldsymbol{v}_1 \quad \boldsymbol{v}_2 \quad \dots)$$
を用意したとき、それらは
$$AV = V\Lambda \tag{5}$$
と関係付けられる。
したがって
$$A = V\Lambda V^{-1} \tag{6}$$
と変形できる。
このように正方形の行列を（6）のような3つの行列の積に返還することを固有値分解という。

特異値分解

正方行列以外は固有値分解できないのか？
Ans. 似たことはできる。
$$
M\boldsymbol{v} = \sigma \boldsymbol{u}
\
M^T\boldsymbol{u} = \sigma \boldsymbol{v}
$$
このような特殊な単位ベクトルがあるならば特異値分解できる。
$$M = USV^{-1}$$
のような3つの行列の積に返還することを固有値分解という。

特異値分解

正方行列以外は固有値分解できないのか？
Ans. 似たことはできる。
$$
M\boldsymbol{v} = \sigma \boldsymbol{u}
\
M^T\boldsymbol{u} = \sigma \boldsymbol{v}
$$
このような特殊な単位ベクトルがあるならば特異値分解できる。
$$M = USV^{-1}$$

特異値の求め方

$MV = US$ $\quad M^TU = VS^T $
$M = USV^{-1} \quad M^T = VS^T U^{-1}$
これらの積は
$MM^T = USV^{-1}VS^TU^{-1} = USS^TU^{-1}$
つまり$MM^T$を固有値分解すれば、その左特異ベクトルと特異値の2乗が求められる。

確率・統計

条件付き確率

ある事象X=xが与えられた下で、Y=yとなる確率
例：雨が降っっている条件下で交通事故に遭う確率
$$
P(Y=y|X=x) = \frac{P(Y=y,X=x)}{P(X=x)}
$$
X:雨が降っている
Y:交通事故に遭う

ベイズ則

一般的に事象Aと事象Bに対して
$P(A)P(B|A) = P(B)P(A|B)$

分散と共分散

分散

・データの散らばり具合
・データの各々の値が、期待値からどれだけずれているかを平均したもの
分散$Var(f) \
=E \bigl((f_{(X=x)} - E_{(f)})^2 \bigr)
\
=E({f^2}_{(X=x)})-(E{(f)})^2
$

共分散

・2つのデータの系列の傾向の違い
・正の値を取れば似た傾向
・負の値を取れば逆の傾向
・ゼロを取れば関係性に乏しい
共分散 $Cov(f,g)
\
=E \bigl( (f_{(X=x)} - E (f) \bigr ) \bigl( (g_{(Y=y)} - E (g) \bigr )
\
=E(fg) - E(f)E(g)$

さまざまな確率分布

ベルヌーイ分布

・コイントスのイメージ
$P(x| \mu) = \mu ^x (1-\mu) ^{1-x}$

情報理論

自己情報量

・対数の底が2のとき、単位はbit
・対数の底がネイピア$e$のとき、単位はnat
$I(x) = -\log(P(x)) = \log(W(x))$

シャノンエントロピー

・自己情報量の期待値
$$
H(x) = E(I(x)) \
= -E(\log(P(x)))\
= -\Sigma (P(x) \log(P(x)))
$$