第1章：線形代数
連立方程式
{\begin{pmatrix}
1 & 4 \\
2 & 6
\end{pmatrix}
}
{\begin{pmatrix}
x_{1} \\
x_{2}
\end{pmatrix}
}
=
{\begin{pmatrix}
7 \\
10
\end{pmatrix}
}
■2行目を1/2倍する
左から
{\begin{pmatrix}
1 & 0 \\
0 & 1/2
\end{pmatrix}
}
をかける
{\begin{pmatrix}
1 & 0 \\
0 & 1/2
\end{pmatrix}
}
{\begin{pmatrix}
1 & 4 \\
2 & 6
\end{pmatrix}
}
{\begin{pmatrix}
x_{1} \\
x_{2}
\end{pmatrix}
}
=
{\begin{pmatrix}
1 & 0 \\
0 & 1/2
\end{pmatrix}
}
{\begin{pmatrix}
7 \\
10
\end{pmatrix}
}
{\begin{pmatrix}
1 & 4 \\
1 & 3
\end{pmatrix}
}
{\begin{pmatrix}
x_{1} \\
x_{2}
\end{pmatrix}
}
=
{\begin{pmatrix}
7 \\
5
\end{pmatrix}
}
i行目をc倍する
{\left(
\begin{array}{ccccc}
1 & \cdots & 0 & \cdots & 0\\
\vdots & \ddots & & & \vdots \\
0 & & c & & 0 \\
\vdots & & & \ddots & \vdots \\
0 & \cdots & 0 & \cdots & 1
\end{array}
\right)
}
■1行目に2行目の-1倍を加える
左から
{\begin{pmatrix}
1 & -1 \\
0 & 1
\end{pmatrix}
}
をかける
{\begin{pmatrix}
1 & -1 \\
0 & 1
\end{pmatrix}
}
{\begin{pmatrix}
1 & 4 \\
1 & 3
\end{pmatrix}
}
{\begin{pmatrix}
x_{1} \\
x_{2}
\end{pmatrix}
}
=
{\begin{pmatrix}
1 & -1 \\
0 & 1
\end{pmatrix}
}
{\begin{pmatrix}
7 \\
5
\end{pmatrix}
}
{\begin{pmatrix}
0 & 1 \\
1 & 3
\end{pmatrix}
}
{\begin{pmatrix}
x_{1} \\
x_{2}
\end{pmatrix}
}
=
{\begin{pmatrix}
2 \\
5
\end{pmatrix}
}
s行目にt行目のc倍を加える
{\left(
\begin{array}{ccccc}
1 & \cdots & 0 & \cdots & 0\\
\vdots & \ddots & & & \vdots \\
0 & & 1 & c & 0 \\
\vdots & & & \ddots & \vdots \\
0 & \cdots & 0 & \cdots & 1
\end{array}
\right)
}
■2行目に1行目の-3倍を加える
左から
{\begin{pmatrix}
1 & 0 \\
-3 & 1
\end{pmatrix}
}
をかける
{\begin{pmatrix}
1 & 0 \\
-3 & 1
\end{pmatrix}
}
{\begin{pmatrix}
0 & 1 \\
1 & 3
\end{pmatrix}
}
{\begin{pmatrix}
x_{1} \\
x_{2}
\end{pmatrix}
}
=
{\begin{pmatrix}
1 & 0 \\
-3 & 1
\end{pmatrix}
}
{\begin{pmatrix}
2 \\
5
\end{pmatrix}
}
{\begin{pmatrix}
0 & 1 \\
1 & 0
\end{pmatrix}
}
{\begin{pmatrix}
x_{1} \\
x_{2}
\end{pmatrix}
}
=
{\begin{pmatrix}
2 \\
-1
\end{pmatrix}
}
■1行目と2行目を入れ替える
左から
{\begin{pmatrix}
0 & 1 \\
1 & 0
\end{pmatrix}
}
をかける
{\begin{pmatrix}
0 & 1 \\
1 & 0
\end{pmatrix}
}
{\begin{pmatrix}
0 & 1 \\
1 & 0
\end{pmatrix}
}
{\begin{pmatrix}
x_{1} \\
x_{2}
\end{pmatrix}
}
=
{\begin{pmatrix}
0 & 1 \\
1 & 0
\end{pmatrix}
}
{\begin{pmatrix}
2 \\
-1
\end{pmatrix}
}
{\begin{pmatrix}
1 & 0 \\
0 & 1
\end{pmatrix}
}
{\begin{pmatrix}
x_{1} \\
x_{2}
\end{pmatrix}
}
=
{\begin{pmatrix}
-1 \\
2
\end{pmatrix}
}
p行目とq行目を入れ替える
{\left(
\begin{array}{ccccc}
1 & \cdots & 0 & \cdots & & &0\\
\vdots & \ddots & & & & & \vdots \\
0 & & 0 & & 1 & & 0 \\
\vdots & && \ddots & & & \vdots \\
0 & & 1 & & 0 & & 0 \\
\vdots & & & & & \ddots & \vdots \\
0 & \cdots & 0 & \cdots & & & 1
\end{array}
\right)
}
■上記を１式で書くと
{\begin{pmatrix}
0 & 1 \\
1 & 0
\end{pmatrix}
}
{\begin{pmatrix}
1 & 0 \\
-3 & 1
\end{pmatrix}
}
{\begin{pmatrix}
1 & -1 \\
0 & 1
\end{pmatrix}
}
{\begin{pmatrix}
1 & -1 \\
0 & 1
\end{pmatrix}
}
{\begin{pmatrix}
1 & 0 \\
0 & 1/2
\end{pmatrix}
}
{\begin{pmatrix}
1 & 4 \\
2 & 6
\end{pmatrix}
}
{\begin{pmatrix}
x_{1} \\
x_{2}
\end{pmatrix}
}
=
{\begin{pmatrix}
0 & 1 \\
1 & 0
\end{pmatrix}
}
{\begin{pmatrix}
1 & 0 \\
-3 & 1
\end{pmatrix}
}
{\begin{pmatrix}
1 & -1 \\
0 & 1
\end{pmatrix}
}
{\begin{pmatrix}
1 & -1 \\
0 & 1
\end{pmatrix}
}
{\begin{pmatrix}
1 & 0 \\
0 & 1/2
\end{pmatrix}
}
{\begin{pmatrix}
7 \\
10
\end{pmatrix}
}
{\begin{pmatrix}
-3 & 2 \\
1 & -1/2
\end{pmatrix}
}
{\begin{pmatrix}
1 & 4 \\
2 & 6
\end{pmatrix}
}
{\begin{pmatrix}
x_{1} \\
x_{2}
\end{pmatrix}
}
=
{\begin{pmatrix}
-3 & 2 \\
1 & -1/2
\end{pmatrix}
}
{\begin{pmatrix}
7 \\
10
\end{pmatrix}
}
{\begin{pmatrix}
-3 & 2 \\
1 & -1/2
\end{pmatrix}
}
のことを 逆行列 という
■逆行列の求め方
掃き出し法
{\begin{pmatrix}
1 & 4 && 1 & 0\\
2 & 6 && 0 & 1
\end{pmatrix}
}
行基本変形を適用して左半分を$I$にするのが目標
2行目に1行目の-2倍を加算
{\begin{pmatrix}
1 & 4 && 1 & 0\\
0 & -2 && -2 & 1
\end{pmatrix}
}
1行目に2行目の2倍を加算
{\begin{pmatrix}
1 & 0 && -3 & 2\\
0 & -2 && -2 & 1
\end{pmatrix}
}
2行目-1/2倍
{\begin{pmatrix}
1 & 0 && -3 & 2\\
0 & 1 && 1 & -1/2
\end{pmatrix}
}
■逆行列が存在しない条件
{\begin{pmatrix}
a & b\\
c & d
\end{pmatrix}
}
があったとき、
ad - bc = 0 \\
のとき、逆行列をもたない
■行列式
{\begin{pmatrix}
a & b \\
c & d
\end{pmatrix}
}
=
{\begin{pmatrix}
\vec{v_{1}} \\
\vec{v_{2}}
\end{pmatrix}
}
でつくられる平行四辺形の面積が、逆行列の有無を判別するこの「面積」を
{\begin{vmatrix}
a & b \\
c & d
\end{vmatrix}
}
=
{\begin{vmatrix}
\vec{v_{1}} \\
\vec{v_{2}}
\end{vmatrix}
}
表し、行列式 と呼ぶ
{\begin{vmatrix}
a & b \\
c & d
\end{vmatrix}
}
=
ad - bc
{\begin{vmatrix}
a & b & c\\
d & e & f\\
g & h & i
\end{vmatrix}
}
=
a
{\begin{vmatrix}
e & f\\
h & i
\end{vmatrix}
}
-d
{\begin{vmatrix}
b & c\\
h & i
\end{vmatrix}
}
+g
{\begin{vmatrix}
b & c\\
e & f
\end{vmatrix}
}
■固有値と固有ベクトル
ある行列Aに対して，以下のような式が成り立つような，特殊なベクトル$\vec{x}$と，右辺の係数λがある。
A\vec{x}=λ\vec{x}
特殊なベクトル$\vec{x}$とその係数λを，行列Aに対する，固有ベクトル，固有値という。
■
{\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}
}
の固有値、固有ベクトルの求め方
(1-λ)(3-λ)-4*2=0\\
λ=5, -1\\
λ=5のとき
{\begin{pmatrix}
-4 & 4 \\
2 & -2
\end{pmatrix}
}
{\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}
}=
{\begin{pmatrix}
0 \\
0
\end{pmatrix}
}\\
x_1-x_2=0
\vec{x}=
{\begin{pmatrix}
1 \\
1
\end{pmatrix}
}
の定数倍
λ=-1のとき
{\begin{pmatrix}
2 & 4 \\
2 & 4
\end{pmatrix}
}
{\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}
}=
{\begin{pmatrix}
0 \\
0
\end{pmatrix}
}\\
x_1+2 x_2=0
\vec{x}=
{\begin{pmatrix}
2 \\
-1
\end{pmatrix}
}
の定数倍
■
{\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}
}
の固有値分解
{\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}
}=
{\begin{pmatrix}
1 & 2 \\
1 & -1
\end{pmatrix}
}
{\begin{pmatrix}
5 & 0 \\
0 & -1
\end{pmatrix}
}
{\begin{pmatrix}
1 & 2 \\
1 & -1
\end{pmatrix}
}^{-1}\\
{\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}
}=
{\begin{pmatrix}
1 & 2 \\
1 & -1
\end{pmatrix}
}
{\begin{pmatrix}
5 & 0 \\
0 & -1
\end{pmatrix}
}
{\begin{pmatrix}
1/3 & 2/3 \\
1/3 & -1/3
\end{pmatrix}
}
第2章：確率、統計
頻度確率(客観確率)
- 生する頻度
- 例:「10本のうち一本だけ当たりのクジを引いて当選する確率を調べたところ10%であった」という事実
ベイズ確率(主観確率)
- 信念の度合い
- 例:「あなたは40%の確率でインフレンザです」という診断
■条件付き確率
- ある事象Bが与えられた下で，Aとなる確率
- 例:雨が降っている条件下で交通事故に遭う確率
P(A|B)=\frac{P(A\cap B)}{P(B)}
例
2つの袋があり、次のように赤い玉と白い玉が入っています。
袋1：赤い玉4つ、白い玉1つ
袋2：赤い玉3つ、白い玉3つ
いずれかの袋から玉を1つ取り出したところ、白い玉でした。この玉が袋2から取り出された確率はいくらでしょうか。
P(B_2|A)=\frac{\frac{1}{2}*\frac{1}{2}}{\frac{1}{2}*\frac{1}{5}+\frac{1}{2}*\frac{1}{2}}=\frac{5}{7}=0.714
■確率変数と確率分布
確率変数
- 事象と結び付けられた数値
- 事象そのものを指すと解釈する場合も多い
確率分布
- 事象の発生する確率の分布
- 離散値であれば表に示せる
| 事象 | 裏が0枚，表が4枚 | 裏が1枚，表が3枚 | 裏が2枚，表が2枚 | 裏が3枚，表が1枚 | 裏が4枚，表が1枚 |
|---|---|---|---|---|---|
| 確率変数（裏を0，表を1と対応させ和をとった） | 4 | 3 | 2 | 1 | 0 |
| 事象が発生した回数 | 75 | 300 | 450 | 300 | 75 |
| 事象と対応する確率 | 1/16 | 4/16 | 6/16 | 4/16 | 1/16 |
■期待値
その分布における，確率変数の...
平均の値 or 「ありえそう」な値
| 事象X | $x_1$ | $x_2$ | … | $x_n$ |
|---|---|---|---|---|
| 確率変数f(X) | $f(x_1)$ | $f(x_1)$ | … | $f(x_n)$ |
| 確率P(X) | $P(x_1)$ | $P(x_1)$ | … | $P(x_n)$ |
期待値
E(f)=\sum_{k=1}^{n}P(X=x_k)f(X=x_k)
連続する値なら
E(f)=\int P(X=x)f(X=x)dx
■分散と共分散
分散
- データの散らばり具合
- データの各々の値が，期待値からどれだけズレているのか平均したもの
共分散
- 2つのデータ系列の傾向の違い
- 正の値を取れば似た傾向
- 負の値を取れば逆の傾向
- ゼロを取れば関係性に乏しい
分散
\begin{align}
Var(f)&=E((f_{(X=x)}-E_{(f)})^2)\\
&=E(f^2_{(X=x)})-(E_{(f)})^2
\end{align}
共分散
\begin{align}
Cov(f,g)&=E((f_{(X=x)}-E_{(f)})(g_{(Y=y)}-E_{(g)}))\\
&=E(fg)-E(f)E(g)
\end{align}
■分散と標準偏差
分散は2乗してしまっているので元のデータと単位が違う
↓
2乗することの逆演算（つまり平方根を求める）をすれば元の単位に戻る
σ=\sqrt{Var(f)}=\sqrt{E((f_{(X=x)}-E_{(f)})^2)}
■様々な確率分布
ベルヌーイ分布
- コイントスのイメージ
- 裏と表で出る割合が等しくなくとも扱える
P(x|μ)=μ^x(1-μ)^{1-x}
マルチヌーイ（カテゴリカル）分布
- さいころを転がすイメージ
- 各面の出る割合が等しくなくとも扱える
二項分布
- ベルヌーイ分布の多試行版
P(x|λ,n)=\frac{n!}{x!(n-x)!}λ^x(1-λ)^{n-x}
ガウス分布
- 釣鐘型の連続分布
N(x;μ,σ^2)=\sqrt{\frac{1}{2\pi σ^2}}exp(-\frac{1}{2σ^2}(x-μ)^2)
■標本分散
\hat{σ}^2=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2
■不偏分散
s^2=\frac{n}{n-1}×\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2
第3章：情報理論
■自己情報量
- 対数の底が2のとき，単位はビット(bit)
- 対数の底がネイピアのeのとき，単位は(nat)
I(x)=-log(P(x))=log(W(x))
■シャノンエントロピー
- 微分エントロピーともいうが，微分しているわけではない
- 自己情報量の期待値
H(x)=E(I(x))=E(log(P(x)))=-\sum(P(x)log(P(x)))
■カルバック・ライブラーダイバージェンス
- 同じ事象・確率変数における異なる確率分布P,Qの違いを表す
D_{KL}(P||Q)=E_{x～P}\begin{bmatrix}log\frac{P(x)}{Q(x)}\end{bmatrix}=E_{x～P}\begin{bmatrix}logP(x)-logQ(x)\end{bmatrix} \\
I(Q(x))-I(P(x))=(-log(Q(x)))-(-log(P(x)))=log\frac{P(x)}{Q(x)} \\
D_{KL}(P||Q)=\sum_xP(x)(-log(Q(x)))-(-log(P(x)))=\sum_xP(x)log\frac{P(x)}{Q(x)}
■交差エントロピー
- KLダイバージェンスの一部分を取り出したもの
- Qについての自己情報量をPの分布で平均している
D_{KL}(P||Q)=\sum_xP(x)(-log(Q(x)))-(-log(P(x))) \\
H(P,Q)=H(P)+D_{KL}(P||Q) \\
H(P,Q)=-E_{x～P}logQ(x)=-\sum_xP(x)logQ(x)
