確率

頻度主義とベイズ主義

ある事象$X$が起きた下で、$Y$が起きる確率。ここで、$X,Y$を確率変数、$x,y$をそれぞれの実現値とする。条件付き確率は以下のように表される。

P(Y=y|X=x)= \frac{P(Y=y,X=x)}{P(X=x)}

事象$X$と事象$Y$がお互いに無関係であった場合に、事象$X$と事象$Y$の発生確率は、各々の確率の掛算で表すことが可能。

P(X=x,Y=y) = P(X=x)P(Y=y)

P(X|Y) = \frac{P(Y|X)P(X)}{P(Y)}

で表される。
この式に置いて、左辺の$P(X|Y)$は事後確率、右辺の$P(Y|X)$は尤度、$P(X)$は事前確率と呼ばれる。$P(Y)$は規格化定数、証拠などと呼ばれる。

期待値とは、確率変数の全ての実現値にその発生確率を掛け合わせた加重平均。事象$X$の期待値を$E[X]$と表すことが多い。
離散型確率分布では、

E[X]=\sum_{k=1}^{n}x_kP(X=x_k)

連続型確率分布では、

E[X] = \int xP(x) dx

のように書く。（ここで、$x_k$や$x$は全て確率変数$X$の実現値）

分散とは、データの各々の値と平均値との差の2乗をデータ数で割ったもの。また、その平方根を標準偏差と呼ぶ。

分散、標準偏差はそれぞれ

V[X] = E[(X-E[X])^2] \\
\sigma _X = \sqrt{V[X]}

で表される。
また、データ系列が2つあった場合に、この2つのデータ系列の傾向の違いを表したもの。

Cov(X,Y) = E[(X-E[X])(Y-E[Y])] = E[XY] - E[X]E[Y]

で表される。

表が出る確率が$\mu$のコインでコイントスをする際、表を$x=1$,裏を$x=0$とした場合に、確率変数$x$が従う分布。以下のように表される。

P(x|\mu) = \mu^x (1-\mu)^{1-x}

さいころを振る試行のように、独立した発生確率$p_k$を持つ$K$個の事象が存在し、1回の独立した試行でそのいずれか1つが観測されるような離散確率分布。

ベルヌーイ分布に従う試行を$n$回行ったとき、$x=1$になる（上の例では、$n$回中表が$x$回出る）確率を与える分布。

P(x|\lambda ,n)= \frac{n!}{x!(n-x)!} \lambda^x(1-\lambda)^{n-x}

多くの自然現象が従う釣り鐘型の分布。
真の分布がわからなくても、サンプル数が多いとガウス分布に近づく。

\mathcal{N}(x;\mu,\sigma^2)=\dfrac{1}{\sqrt{2\pi\sigma}}\exp(-\dfrac{(x-\mu)^ 2}{2\sigma^ 2})