離散一様分布
確率変数 $X$ が $1,2,...,K$ を等確率でとるときの分布.
$$
P(X = 1) = P(X = 2) = ... = P(X = K) = \frac {1} {K}
$$
期待値と分散は,
\begin{align}
E[X] &= \frac {1} {K} \sum_{i=1}^{K} i \\
&= \frac {1} {K} \frac {K(K+1)} {2} \\
&= \frac {K+1} {2}
\end{align}
\begin{align}
E[X^2] &= \frac {1} {K} \sum_{i=1}^{K} i^2 \\
&= \frac {1} {K} \frac {K(K+1)(2K+1)} {6} \\
&= \frac {(K+1)(2K+1)} {6}
\end{align}
\begin{align}
V[X] &= E[X^2] - (E[X])^2 \\
&= \frac {(K+1)(2K+1)} {6} - \bigg( \frac {K+1} {2} \bigg)^2 \\
&= \frac {K^2 - 1} {12}
\end{align}
確率母関数は,
\begin{align}
G(s) &= E[s^X] \\
&= \frac {1} {K} \sum_{i=1}^{K} s^i \\
&= \frac {1} {K} \frac {s(1-s^K)} {1-s}
\end{align}
ベルヌーイ分布
確率 $p$ で 1 を, 確率 $q = 1 − p$ で 0 をとるといった, 結果が 2 つである試行に対する分布. $Bin(1,p)$ と表す. 結果が 2 つである試行をベルヌーイ試行といい, ベルヌーイ試行では一般に 1 をとる試行を成功, 0 をとる試行を失敗とよぶ.
$$
P(X = x) = p^x q^{1-x}, x = 0,1
$$
期待値と分散は,
\begin{align}
E[X] &= 0 \times p^0 q^{1-0} + 1 \times p^1 q^{1-1} \\
&= 0 \times q + 1 \times p \\
&= p
\end{align}
\begin{align}
E[X^2] &= 0^2 \times p^0 q^{1-0} + 1^2 \times p^1 q^{1-1} \\
&= 0 \times q + 1 \times p \\
&= p
\end{align}
\begin{align}
V[X] &= E[X^2] - (E[X])^2 \\
&= p - p^2 \\
&= p(1-p) = pq
\end{align}
確率母関数は,
\begin{align}
G(s) &= E[s^X] \\
&= s^0 \times p^0 q^{1-0} + s^1 \times p^1 q^{1-1} \\
&= q + sp
\end{align}
二項分布
成功確率 $p$ のベルヌーイ試行を $n$ 回行い, $i$ 回目のベルヌーイ試行に対応する確率変数を $X_i$ とする. 和 $Y = X_1 + ... + X_n$ は成功回数を表し, ここでさらに $X_1,...,X_n$ が独立なとき, $Y$ の従う分布を二項分布と呼ぶ.
つまり, 独立な成功確率 $p$ のベルヌーイ試行を $n$ 回行ったときの成功回数の分布が二項分布である. $Bin(n,p)$ と表す.
$$
P(Y = y) = {}_nC_y p^y q^{n-y}, y=0,1,...,n
$$
期待値と分散は, $X_i$ が独立にベルヌーイ分布に従うことから,
\begin{align}
E[Y] &= E[X_1 + ... + X_n] \\
&= E[X_1] + ... + E[X_n] \\
&= np
\end{align}
\begin{align}
V[X] &= V[X_1 + ... + X_n] \\
&= V[X_1] + ... + V[X_n] \\
&= npq
\end{align}
確率母関数は,
\begin{align}
G(s) &= E[s^Y] \\
&= E[s^{X_1 + ... + X_n}] \\
&= E[s^{X_1}] \times ... \times E[s^{X_n}] \\
&= (q + sp)^n
\end{align}
再生性
再生性とは, 同じ確率分布を持つ 2 つの独立な確率変数の和が同じ確率分布となる性質のことである.
$Y_1 \sim Bin(n_1, p), Y_2 \sim Bin(n_2, p)$ で $Y_1, Y_2$ が独立ならば, $Y_1 + Y_2 \sim Bin(n_1 + n_2, p)$ となる.
これは,
\begin{align}
G(s) &= E[s^{Y_1+Y_2}] \\
&= E[s^{Y_1}] E[s^{Y_2}] \\
&= (q + sp)^{n_1} (q + sp)^{n_2} \\
&= (q + sp)^{n_1 + n_2}
\end{align}
となり, $Bin(n_1 + n_2, p)$ の確率母関数に一致することより分かる.
超幾何分布
壺の中に $N$ 個の玉が入っている. そのうちの $M$ 個は赤玉であり, 残りの $N-M$ 個は白玉である. この壺の中から $n$ 個の球を非復元抽出で取り出す. このとき, $n$ 個の取り出された球のうち, 赤玉の個数を $Y$ の分布が超幾何分布である.
$$
P(Y = y) = \frac {{}_MC_y \times _{N-M}C _{n-y}} {{}_NC_n}
$$
期待値と分散は,
$$
E[Y] = n \frac {M} {N}
$$
$$
V[Y] = n \frac {M} {N} (1 - \frac {M} {N}) \times \frac {N - n} {N - 1}
$$
ポアソン分布
二項分布の確率関数において, 期待値 $np$ を $\lambda > 0$ に固定して $n \to \infty, p \to 0$ とした場合の極限で得られる分布. $Po(\lambda)$ と表す. 具体的には, ある期間に平均 $\lambda$ 起こる事象において，その事象がある期間に $Y$ 回起こる確率の分布である.
$$
P(Y = y) = \frac {\lambda^y e^{-\lambda}} {y!}
$$
確率母関数は,
\begin{align}
G(s) &= E[s^{Y}] \\
&= \sum_{y=0}^{\infty} s^y \frac {\lambda^y e^{-\lambda}} {y!} \\
&= e^{-\lambda} \sum_{y=0}^{\infty} \frac {(\lambda s)^y} { y!} \\
&= e^{-\lambda} e^{\lambda s} = e^{\lambda(s-1)}
\end{align}
ただし, 指数関数のマクローリン展開は,
$$
e^x = \sum_{y=0}^{\infty} \frac {x^y} {y!}
$$
より, $x = \lambda s$ とすると以下が得られる.
$$
e^{\lambda s} = \sum_{y=0}^{\infty} \frac {{\lambda s}^y} {y!}
$$
期待値と分散は,
\begin{align}
G^{'}(s) &= \lambda e^{\lambda(s-1)} \\
G^{''}(s) &= \lambda^2 e^{\lambda(s-1)}
\end{align}
\begin{align}
E[Y] &= G^{'}(1) \\
&= \lambda
\end{align}
\begin{align}
V[Y] &= G^{''}(1) + G^{'}(1) - (G^{'}(1))^2 \\
&= \lambda^2 + \lambda - \lambda^2 \\
&= \lambda
\end{align}
再生性
$Y_1 \sim Po(\lambda_1), Y_2 \sim Po(\lambda_2)$ で $Y_1, Y_2$ が独立ならば, $Y_1 + Y_2 \sim Po(\lambda_1 + \lambda_2)$ となる.
これは,
\begin{align}
G(s) &= E[s^{Y_1+Y_2}] \\
&= E[s^{Y_1}] E[s^{Y_2}] \\
&= e^{\lambda_1 (s-1)} e^{\lambda_2 (s-1)} \\
&= e^{(\lambda_1 + \lambda_2)(s-1)}
\end{align}
となり, $Po(\lambda_1 + \lambda_2)$ の確率母関数に一致することより分かる.
幾何分布
成功確率 $p$ の独立なベルヌーイ試行を繰り返したとき, 初めて成功するまでに起こる失敗の回数 $X$ の分布. $Geo(p)$ で表す.
$$
P(X = x) = pq^x, x = 0, 1, 2, ...
$$
確率母関数は,
\begin{align}
G(s) &= E[s^{X}] \\
&= \sum_{x=0}^{\infty} s^x pq^x \\
&= p \sum_{x=0}^{\infty} (sq)^x \\
&= \frac {p} {1 - sq}
\end{align}
期待値と分散は,
\begin{align}
G^{'}(s) &= \frac {pq} {(1 - sq)^2} \\
G^{''}(s) &=\frac {2pq^2} {(1 - sq)^3}
\end{align}
\begin{align}
E[Y] &= G^{'}(1) \\
&= \frac {q} {p}
\end{align}
\begin{align}
V[Y] &= G^{''}(1) + G^{'}(1) - (G^{'}(1))^2 \\
&= \frac {2q^2} {p^2} + \frac {q} {p} - (\frac {q} {p})^2 \\
&= \frac {q} {p^2}
\end{align}
#無記憶性
無記憶性とは以下が成り立つことである.
$$
P(X \geq t_1 + t_2 | X \geq t_1) = P(X \geq t_2), t_1,t_2 = 0,1,2,...
$$
これは, $P(X \geq t)$ がまだ $t$ で成功がないと同値なので $P(X \geq t) = q^t$ より,
$$
P(X \geq t_1 + t_2 | X \geq t_1) = \frac {q^{t_1 + t_2}} {q^{t_1}} = q^{t_2}
$$
から分かる.
多項分布
$K$ この結果 $1,2,...,K$ のいずれか 1 つが起こる試行を考える. 結果 $j$ が起こる確率を $p_j$ とする$(p_j > 0, p_1 + ... + p_K = 1)$. この試行を独立に $n$ 回行うとき, 結果 $j$ が起こる回数を $Y^j$ とする. このとき, $Y = (Y^1,....,Y^K), Y^1 + ... + Y^K = n$ の従う分布を多項分布とよび, $M(n;p_1,...,p_K)$ で表す.
$$
P(Y^1 = y^1,....,Y^K = y^k) = \frac {n!} {y^1! ... y^K!} p_1^{y^1} ... p_K^{y^K}
$$
期待値と分散は,
$$
E[Y^j] = np_j
$$
$$
V[Y^j] = np_j(1-p_j)
$$
共分散は,
$$
Cov(y^i, y^j) = -n p_i p_j
$$