超幾何分布に続いて、二項分布の期待値、分散、確率母関数、モーメント母関数を導出してみました。
二項分布 (binomial distribution)
成功、失敗のように、2種類の排他的な結果となる試行において、それらが発生する確率をそれぞれ $p, 1-p \in [0, 1]$ とする。この試行を独立に $n$ 回繰り返した際の成功の回数を $x$ とすると、その確率変数 $X$ は二項分布 $Bi(n, p)$ に従い、その確率質量関数は、以下の式で与えらえる。
\begin{align}
f(x) &= P(X=x) \\
&= {}_n C_{x} p^x (1-p)^{n-x} \tag{1}
\end{align}
ただし、$x=0, 1, \dots, n$.
期待値、分散、確率母関数、モーメント母関数は、以下となる。
\begin{align}
E(X) &= np \\
V(x) &= np(1-p) \\
G_X(t) &= (pt+1-p)^n \\
M_X(t) &= (pe^t+1-p)^n
\end{align}
また、二項分布は再生性を持ち、確率変数 $X_1$, $X_2$ がそれぞれ互いに独立に二項分布 $Bi(n_1, p)$, $Bi(n_2, p)$ に従う場合、確率変数の和 $X_1 + X_2$ も二項分布 $Bi(n_1+n_2, p)$ に従う。
他の確率分布との関係
正規分布との関係
$n$ が大きい場合、中心極限定理により二項分布は正規分布で近似できる。
二項分布における $i$ 回目の試行 ($i=1,2,\dots,n$) において、成功したら1, 失敗したら0となる確率変数を $X_i$, 期待値を $\mu$, 分散を $\sigma^2$ とする。中心極限定理によれば、$n$ が大きい場合、以下の確率変数の和 $S_n$ は、(1)における成功の回数を表す確率変数 $X$ と同じであり、平均が $n\mu$, 分散が $n\sigma^2$ の正規分布 $N(n\mu, n\sigma^2)$ で近似できる。
S_n = X = X_1 + X_2 + \dots + X_n
$X_i$の期待値、分散は、それぞれ $\mu=p$, $\sigma^2=p(1-p)$ で表されるため、標準化した以下の確率変数 $Z$ は、標準正規分布 $N(0,1)$ で近似できる。
\begin{align}
Z &= \frac{X-n\mu}{\sqrt{n\sigma^2}} \\
&= \frac{X-np}{\sqrt{np(1-p)}}
\end{align}
また、近似精度を高めるため、連続修正を利用できる。下図は、二項分布 $Bi(16, 0.5)$ と、その近似である正規分布 $N(8, 2)$ を示している。
上図において、二項分布で $x=10$ となる確率は、正規分布で $-0.5<x<0.5$ の範囲の確率で近似するのが適切である。このように、離散分布を連続分布で近似するために $x\pm0.5$ する方法は、連続修正と呼ばれる。例えば、$P(x\leq10)$ となる確率は、二項分布で0.8949となる。これを、正規分布で $P(x\leq10)$ を近似すると0.8413だが、$P(x\leq10.5)$ で近似すると0.8945となり、近似精度が高くなる。
超幾何分布との関係
超幾何分布を参照。
確率分布であることの確認
二項定理を利用する。$q=1-p$とすると、(1)は、
\begin{align}
\sum_{x=0}^{n} {}_n C_{x} p^x q^{n-x} &= (p+q)^n \\
&= (p+1-p)^n \\
&= 1
\end{align}
となる。
期待値の導出
期待値は、$E(X)=\sum xf(x)$ より
E(X) = \sum_{x=0}^{n} x \dot {}_n C_{x} p^x (1-p)^{n-x}
$x=0$ の場合、期待値の計算に寄与しないこと、および $r \dot {}_n C_r = n \dot {}_{n-1}C_{r-1}$ を利用すると、下式のように表される。
\begin{align}
E(X) &= \sum_{x=1}^{n} x \dot {}_n C_{x} p^x (1-p)^{n-x} \\
&= \sum_{x=1}^{n} n \dot {}_{n-1} C_{x-1} p^x (1-p)^{n-x} \\
&= np \sum_{x=1}^{n} {}_{n-1} C_{x-1} p^{x-1} (1-p)^{(n-1)-(x-1)} \\
&= np \sum_{x'=0}^{n'} {}_{n'} C_{x'} p^{x'} (1-p)^{n'-x'}
\end{align}
ただし、$x'=x-1$, $n'=n-1$. 上式のシグマの中は、二項分布 $Bi(n', x')$ の確率質量関数そのものであるため、$x'$ の取り得る範囲で合計した値は1となる。以上から、期待値は以下となる。
E(X) = np
分散の導出
分散は、下式で表される。
\begin{align}
V(X) &= E(X^2)-E(X)^2 \\
&= E(X(X-1))+E(X)-E(X)^2 \tag{2}
\end{align}
$E(X(X-1))$ は、以下のように表される。
E(X(X-1)) = \sum_{x=0}^{n} x(x-1) {}_n C_{x} p^x (1-p)^{n-x}
$x=0, 1$ の場合、期待値の計算に寄与しないこと、および $r \dot {}_n C_r = n \dot {}_{n-1}C_{r-1}$ を利用すると、下式のように表される。
\begin{align}
E(X(X-1)) &= \sum_{x=2}^{n} x(x-1) {}_n C_{x} p^x (1-p)^{n-x} \\
&= np \sum_{x=2}^{n} (x-1) {}_{n-1} C_{x-1} p^{x-1} (1-p)^{(n-1)-(x-1)} \\
&= n(n-1)p^2 \sum_{x=2}^{n} {}_{n-2} C_{x-2} p^{x-2} (1-p)^{(n-2)-(x-2)} \\
&= n(n-1)p^2 \sum_{x''=0}^{n''} {}_{n''} C_{x''} p^{x''} (1-p)^{n''-x''}
\end{align}
ただし、$x''=x-2$, $n''=n-2$. 上式のシグマの中は、二項分布 $Bi(n'', x'')$ の確率質量関数そのものであるため、$x''$ の取り得る範囲で合計した値は1となる。以上から、$E(X(X-1))$は以下となる。
E(X(X-1)) = n(n-1)p^2
(2)に代入すると、分散は以下のように求められる。
\begin{align}
V(X) &= E(X(X-1))+E(X)-E(X)^2 \\
&= n(n-1)p^2 + np - (np)^2 \\
&= np(1-p)
\end{align}
確率母関数の導出
確率母関数は、二項定理を使って求めらる。
\begin{align}
G_X(t) &= E(t^X) \\
&= \sum_{x=0}^{n} t^x \dot {}_n C_{x} p^x (1-p)^{n-x} \\
&= \sum_{x=0}^{n} {}_n C_{x} (pt)^x (1-p)^{n-x} \\
&= (pt+1-p)^n \\
G_X'(t) &= np(pt+1-p)^{n-1} \\
G_X''(t) &= n(n-1)p^2(tp+1-p)^{n-2}
\end{align}
$G_X^{(m)}(t) = E\left(X(X-1)\dots(X-m+1)t^{X-m}\right)$ より、$E(X)$, $E(X(X-1))$ は以下のように求められる。
\begin{align}
E(X) &= G'X(1) \\
&= np \\
E(X(X-1)) &= G''X(1) \\
&= n(n-1)p^2
\end{align}
モーメント母関数の導出
モーメント母関数も、同様に二項定理を使って求められる。
\begin{align}
M_X(t) &= E(e^{tX}) \\
&= \sum_{x=0}^{n} e^{tx} \dot {}_n C_{x} p^x (1-p)^{n-x} \\
&= \sum_{x=0}^{n} {}_n C_{x} (pe^t)^x (1-p)^{n-x} \\
&= (pe^t+1-p)^n \\
M_X'(t) &= npe^t(pe^t+1-p)^{n-1} \\
M_X''(t) &= npe^t(pe^t+1-p)^{n-1} + npe^t\dot (n-1)pe^t(pe^t+1-p)^{n-2} \\
&= np\left(e^t(pe^t+1-p)^{n-1}+(n-1)pe^{2t}(pe^t+1-p)^{n-2}\right)
\end{align}
$M_X^{(m)}(0)=E(X^m)$ より、$E(X)$, $E(X^2)$ は以下のように求められる。
\begin{align}
E(X) &= M_X'(0) \\
&= np \\
E(X^2) &= M_X''(0) \\
&= np(1+(n-1)p) \\
&= np(1-p)+(np)^2
\end{align}
再生性の確認
モーメント母関数と確率分布は1対1に対応することを利用して確認する。
確率変数 $X_1$, $X_2$ がそれぞれ互いに独立に二項分布 $Bi(n_1, p)$, $Bi(n_2, p)$ に従う場合、確率変数の和 $X_1+X_2$ のモーメント母関数を求める。
\begin{align}
M_{X_1+X_2} &= E\left(e^{t(X_1+X_2)}\right) \\
&= E\left(e^{tX_1}e^{tX_2}\right)
\end{align}
ここで、任意の確率変数 $X$, $Y$ が互いに独立の場合、$E(XY)=E(X)E(Y)$ が成り立つことから、上式は以下のようになる。
\begin{align}
M_{X_1+X_2}(t) &= E\left(e^{tX_1}\right)E\left(e^{tX_2}\right) \\
&= (pe^t+1-p)^{n_1} (pe^t+1-p)^{n_2} \\
&= (pe^t+1-p)^{n_1+n_2}
\end{align}
これは、二項分布 $Bi(n_1+n_2,p)$ のモーメント母関数であることから、確率変数の和 $X_1+X_2$ は、二項分布 $Bi(n_1+n_2,p)$ に従う。