連続一様分布

$a < b$ を満たす $a,b$ に対し, 以下の確率密度関数を持つ分布. $U(a,b)$ で表す.

f(x)  =
\left \{
    \begin{array}{l}
    \frac {1} {b-a} & (a \leq b) \\
    0 & (その他)
    \end{array}
\right.

期待値と分散は,

\begin{align}
E[X] &= \int_{a}^{b} x \frac {1} {b-a} dx \\
&= \frac {1} {b-a} \int_{a}^{b} x dx \\
&= \frac {1} {b-a} \bigg[\frac {1} {2} x^2 \bigg]_a^b \\
&= \frac {a+b} {2}
\end{align}

\begin{align}
E[X^2] &= \int_{a}^{b} x^2 \frac {1} {b-a} dx \\
&= \frac {1} {b-a} \int_{a}^{b} x^2 dx \\
&= \frac {1} {b-a} \bigg[\frac {1} {3} x^3 \bigg]_a^b \\
&= \frac {a^2 + ab + b^2} {3}
\end{align}

\begin{align}
V[X] &= E[X^2] - (E[X])^2 \\
&= \frac {a^2 + ab + b^2} {3} - \bigg( \frac {a+b} {2} \bigg)^2 \\
&= \frac {(b-a)^2} {12}
\end{align}

モーメント母関数

\begin{align}
M(t) &= E[e^{tX}] \\
&= \int_{a}^{b} e^{tx} \frac {1} {b-a} dx \\
&= \frac {1} {b-a} \int_{a}^{b} e^{tX} dx \\
&= \frac {1} {b-a} \bigg[\frac {1} {t} e^{tx} \bigg]_a^b \\
&= \frac {e^{tb} - e^{ta}} {t(b-a)}
\end{align}

正規分布

実数 $\mu$ と $\sigma > 0$ に対し, 以下の確率密度関数を持つ分布. $N(\mu, \sigma)$ で表す.

$$
f(x) = \frac {1} {\sqrt{2\pi} \sigma} \exp {\bigg( - \frac {(x - \mu )^2} {2\sigma^2}} \bigg)
$$

$\mu=0, \sigma=1$ のときの $N(0,1)$ は, 標準正規分布と呼ばれる.

平均と分散は,

$$
E[X] = \mu
$$

$$
V[x] = \sigma^2
$$

モーメント母関数は,

$$
M(t) = \exp \bigg( \mu t + \frac {1} {2} \sigma^2 t^2 \bigg)
$$

再生性

$X_1 \sim N(\mu_1, \sigma_1), X_2 \sim N(\mu_2, \sigma_2)$ で $X_1, X_2$ が独立ならば, $X_1 + X_2 \sim N(\mu_1 + \mu_2, \sigma_1 + \sigma_2)$ となる.

これは,

\begin{align}
G(s) &= E[s^{X_1, X_2}] \\
&= E[s^{X_1}] E[s^{X_2}] \\
&= \exp \bigg( \mu_1 t + \frac {1} {2} \sigma_1^2 t^2 \bigg) \exp \bigg( \mu_2 t + \frac {1} {2} \sigma_2^2 t^2 \bigg) \\
&= \exp \bigg( (\mu_1 + \mu_2) t + \frac {1} {2} (\sigma_1^2 + \sigma_2^2) t^2 \bigg)
\end{align}

となり, $N(\mu_1 + \mu_2, \sigma_1 + \sigma_2)$ の確率母関数に一致することより分かる.

指数分布

$\lambda > 0$ に対し, 以下の確率密度関数を持つ分布. $Exp(\lambda)$ で表す.

$$
f(x) = \lambda e^{-\lambda x}
$$

期待値と分散は,

\begin{align}
E[X] &= \int_{0}^{\infty} x \lambda e^{-\lambda x} dx \\
&= \lambda \int_{0}^{\infty} xe^{-\lambda x} dx \\
&= [-xe^{-\lambda x}]_{0}^{\infty} + \int_{0}^{\infty} e^{-\lambda x} dx \\
&= 0 + \bigg[- \frac {1} {\lambda} e^{-\lambda x}\bigg]_{0}^{\infty} \\
&= \frac {1} {\lambda}
\end{align}

\begin{align}
E[X^2] &= \int_{0}^{\infty} x^2 \lambda e^{-\lambda x} dx \\
&= \lambda \int_{0}^{\infty} x^2e^{-\lambda x} dx \\
&= [-x^2e^{-\lambda x}]_{0}^{\infty} + 2 \int_{0}^{\infty} xe^{-\lambda x} dx \\
&= \frac {2} {\lambda^2}
\end{align}

\begin{align}
V[X] &= E[X^2] - (E[X])^2 \\
&=\frac {2} {\lambda^2} - \bigg( \frac {1} {\lambda} \bigg)^2 \\
&= \frac {1} {\lambda}
\end{align}

モーメント母関数

\begin{align}
M(t) &= E[e^{tX}] \\
&= \int_{0}^{\infty} e^{tx}  e^{-\lambda x} dx \\
&= \lambda \int_{0}^{\infty} e^{-(\lambda - t)x} dx \\
&= \lambda \bigg[-\frac {1} {(\lambda - t)} e^{-(\lambda - t)x} \bigg]_{0}^{\infty} \\
&= \frac {\lambda} {\lambda - t}
\end{align}

無記憶性

$X \sim Exp(\lambda)$ のとき

\begin{align}
P(X \leq x) &= \int_{0}^{x} \lambda e^{-\lambda t} dt \\
&= \bigg[- e^{-\lambda t} \bigg]_{0}^{x} \\
&= 1 - e^{-\lambda x}
\end{align}

より,

\begin{align}
P(X \geq t_1 + t_2 | X \geq t_1)  = \frac {e^{-\lambda(t_1 + t_2)}} {e^{-\lambda t_1}} = e^{-\lambda t_2} \\
\end{align}

ガンマ分布

$a > 0, b > 0$ に対し, 以下の確率密度関数を持つ分布. $Ga(a,b)$ で表す.

$$
f(x) = \frac {1} {\Gamma(a) b^a} x^{a-1} e^{-\frac {x} {b}}, x > 0
$$

期待値と分散は,

$$
E[X] = ab
$$

$$
V[X] = ab^2
$$

ベータ分布

$a > 0, b > 0$ に対し, 以下の確率密度関数を持つ分布. $Be(a,b)$ で表す.

$$
f(x) = \frac {1} {B(a,b)} x^{a-1} (1-x)^{b-1}, 0 < x < 1
$$

期待値と分散は,

$$
E[X] = \frac {a} {a+b}
$$

$$
V[X] = \frac {ab} {(a+b)^2(a+b+1)}
$$

2変量正規分布

実数 $\mu_1,\mu_2$ と $\sigma_1 > 0, \sigma_2 > 0$, さらに $-1 < \rho < 1$ を満たす $\rho$ に対し, 確率ベクトル $\boldsymbol{X}=(X_1,X_2)^{\top}$
が同時確率密度関数

$$
f(x_1,x_2) = \frac {1} {2\pi \sigma_1 \sigma_2 \sqrt{1 - \rho^2}} \times exp \Bigg[ - \frac {1} {2(1-\rho^2)} \bigg( \bigg( \frac {x_1 - \mu_1} {\sigma_1} \bigg)^2 -2\rho\bigg( \frac {x_1 - \mu_1} {\sigma_1} \bigg)\bigg( \frac {x_2 - \mu_2} {\sigma_2} \bigg) + \bigg( \frac {x_1 - \mu_1} {\sigma_1}\bigg)^2\bigg) \Bigg]
$$

をもつとき, $\boldsymbol{X}$は 2 変量正規分布に従うという. $\mu_1 = \mu_2 = 0$ と $\sigma_1 = \sigma_2 = 1$ のとき 2 変量標準正規分布と呼ばれる.

$\boldsymbol{X}_1 = x_1$ が与えられたときの $\boldsymbol{X}_2$ の条件付分布は, 正規分布となり、期待値と分散は以下となる.

$$
E[\boldsymbol{X}_2|\boldsymbol{X}_1 = x_1] = \mu_2 + \rho \frac {\sigma_2} {\sigma_1}(x_1 - \mu_1) = \mu_2 + \rho \frac { \sigma _{12} } {\sigma_1^2}(x_1 - \mu_1)
$$

$$
V[\boldsymbol{X}_2|\boldsymbol{X}_1 = x_1] = \sigma_2^2(1 - \rho^2)
$$

混合正規分布

$j=1,...,K$ に対し, $f_j(x) = \frac {1} {\sigma_j} \varphi(\frac {x-\mu_j} {\sigma_j})$ を $N(\mu_j, \sigma_j)$ の確率密度関数とする. また, $p_1,...,p_K$ は, $p_j > 0$ と $p_1 + ... + p_K = 1$ を満たすとする. このとき, 確率密度関数

$$
f(x) = p_1f_1(x) + ... + p_Kf_K(x)
$$

を持つ分布を, 混合正規分布という.
累積分布関数 $F(x)$ は, $F_j(x) = \Phi(\frac {x-\mu_j} {\sigma_j})$ を $N(\mu_j, \sigma_j)$ の累積分布関数とするとき,

$$
F(x) = p_1F_1(x) + ... + p_KF_K(x)
$$

である.
確率密度関数は必ずしも二峰性を示すとは限らない. $p_1 = p_2 = 1/2$ かつ $\sigma_1 = \sigma_2$ という場合には, 二峰性を示すための条件は, $|\mu_1 - \mu_2|/\sigma > 2$ となる.

カイニ乗分布

$Z_i \sim N(0,1), i=1,...,n$ で, これらが互いに独立なとき,

$$
Y = Z_1^2 + ... + Z_n^2
$$

が従う分布を自由度 $n$ のカイニ乗分布といい, $\chi^2(n)$ で表す.

正規分布からの標本に基づく標本分散の標本分布を考える際に, 次のようにカイニ乗分布が現れる. $N(\mu, \sigma^2)$ からの無作為標本 $X_1,...,X_n$ に対し, 標本平均を $\bar{X}$, 不偏分散を $s^2$ とすると,

・$\bar{X}$ と $s^2$ は独立
・$(\bar{X} - \mu)/(\sigma/\sqrt{n}) = \sqrt{n}(\bar{X} - \mu)/\sigma \sim N(0,1)$
・$(n-1)s^2/\sigma^2 = \sum_{i=1}^{n}((X_i - \bar{X})/\sigma)^2 \sim \chi^2(n-1)$

t分布

$Z \sim N(0,1), Y \sim \chi^2(n)$ で, これらが互いに独立なとき,

$$
T = \frac {Z} {\sqrt{\frac{Y} {n}}}
$$

が従う分布を自由度 $n$ の $t$ 分布と呼び $t(n)$ で表す.
$t$ 分布が現れる例として, 分散が未知の正規分布の平均の検定がある.

$N(\mu, \sigma^2)$ からの無作為標本 $X_1,...,X_n$ に対し, 標本平均を $\bar{X}$, 不偏分散を $s^2$ とすると,

$$
t = \frac {\bar{X}} {\frac {s} {\sqrt {n}}}
$$

は自由度 $n-1$ の $t$ 分布に従う.

F分布

$Y_1 \sim \chi^2(n_1), Y_2 \sim \chi^2(n_2)$ で, これらが互いに独立なとき,

$$
X = \frac {Y_1/n_1} {Y_2/n_2}
$$

が従う分布を自由度 $(n_1,n_2)$ の $F$ 分布と呼び $F(n_1,n_2)$ で表す.
$F$ 分布が現れる例として, 2 標本の標本分散の比の標本分布を考える際に現れる.

$N(\mu_1, \sigma_1^2)$ からの無作為標本を $X_1,...,X_{n_1}$, $N(\mu_2, \sigma_2^2)$ からの無作為標本 $Y_1,...,Y_{n_2}$ とする.さらに, $X_1,...,X_{n_1}, Y_1,...,Y_{n_2}$ は互いに独立とする.

$$
\frac {s_1^2/\sigma_1^2} {s_2^2/\sigma_2^2} \sim F(n_1,n_2)
$$

となる.