確率
頻度主義とベイズ主義
- 頻度確率：発生する頻度。ある事象の発生確率は無限回試行した場合に、真の値に近づいていく（大数の法則）。
- ベイズ確率：信念の度合い。ある時点で有している情報を元に事象の発生確率を考える。新たな情報が加わわれば情報を改定する。
条件付き確率
ある事象$X$が起きた下で、$Y$が起きる確率。ここで、$X,Y$を確率変数、$x,y$をそれぞれの実現値とする。条件付き確率は以下のように表される。
P(Y=y|X=x)= \frac{P(Y=y,X=x)}{P(X=x)}
独立事象の発生確率
事象$X$と事象$Y$がお互いに無関係であった場合に、事象$X$と事象$Y$の発生確率は、各々の確率の掛算で表すことが可能。
P(X=x,Y=y) = P(X=x)P(Y=y)
ベイズの定理
P(X|Y) = \frac{P(Y|X)P(X)}{P(Y)}
で表される。
この式に置いて、左辺の$P(X|Y)$は事後確率、右辺の$P(Y|X)$は尤度、$P(X)$は事前確率と呼ばれる。$P(Y)$は規格化定数、証拠などと呼ばれる。
確率変数と確率分布
- 確率変数：起こりうる事象に割り当てている値（実現値）をとる変数。
- 確率分布：事象の発生する確率の分布。離散型確率分布と連続型確率分布がある。
期待値・分散・共分散
期待値とは、確率変数の全ての実現値にその発生確率を掛け合わせた加重平均。事象$X$の期待値を$E[X]$と表すことが多い。
離散型確率分布では、
E[X]=\sum_{k=1}^{n}x_kP(X=x_k)
連続型確率分布では、
E[X] = \int xP(x) dx
のように書く。（ここで、$x_k$や$x$は全て確率変数$X$の実現値）
分散とは、データの各々の値と平均値との差の2乗をデータ数で割ったもの。また、その平方根を標準偏差と呼ぶ。
分散、標準偏差はそれぞれ
V[X] = E[(X-E[X])^2] \\
\sigma _X = \sqrt{V[X]}
で表される。
また、データ系列が2つあった場合に、この2つのデータ系列の傾向の違いを表したもの。
Cov(X,Y) = E[(X-E[X])(Y-E[Y])] = E[XY] - E[X]E[Y]
で表される。
種々の確率分布
ベルヌーイ分布
表が出る確率が$\mu$のコインでコイントスをする際、表を$x=1$,裏を$x=0$とした場合に、確率変数$x$が従う分布。以下のように表される。
P(x|\mu) = \mu^x (1-\mu)^{1-x}
マルチヌーイ分布（カテゴリカル分布）
さいころを振る試行のように、独立した発生確率$p_k$を持つ$K$個の事象が存在し、1回の独立した試行でそのいずれか1つが観測されるような離散確率分布。
二項分布
ベルヌーイ分布に従う試行を$n$回行ったとき、$x=1$になる（上の例では、$n$回中表が$x$回出る）確率を与える分布。
P(x|\lambda ,n)= \frac{n!}{x!(n-x)!} \lambda^x(1-\lambda)^{n-x}
ガウス分布
多くの自然現象が従う釣り鐘型の分布。
真の分布がわからなくても、サンプル数が多いとガウス分布に近づく。
\mathcal{N}(x;\mu,\sigma^2)=\dfrac{1}{\sqrt{2\pi\sigma}}\exp(-\dfrac{(x-\mu)^ 2}{2\sigma^ 2})