さまざまな分布の期待値・分散・積率母関数を計算してみた

この記事は備忘録として様々な分布の期待値と分散と積率母関数を実際に導出してみたって感じで書き進めたいと思います．教科書やネットには結果だけしか掲載されていないので，計算過程まで載せていきたいと考えています！
積率母関数から期待値と分散が計算できることの確認はしません．　

まずは，期待値と分散と積率母関数の定義を書いておきます．

【ノーテーション】
・$X$：分布$p(x)$から発生する(連続or離散)確率変数
・$\mathcal{X}$：$X$の集合
・$x$：確率変数の実現値
・$p(x)$：$X$を発生させる分布
・$\mathbb{E}[\cdot]$：分布$p(x)$による期待値
・$Var[\cdot]$:分布$p(x)$による分散
とします．

$\fbox{期待値}$

\mathbb{E}[X] = \left\{
\begin{array}{ll}
\displaystyle \int^{\infty}_{-\infty}xp(x)dx & (Xが連続) \\
\displaystyle \sum_{k=1}^{\infty}x_{k}p(x_{k}) & (Xが離散)
\end{array}
\right.

$\fbox{分散}$

\begin{align}
Var[X] &= \mathbb{E}[(X-\mathbb{E}[X])^2]\\
&= \mathbb{E}[X^2]-(\mathbb{E}[X])^2
\end{align}

$\fbox{積率母関数}$

M(t) = \mathbb{E}[e^{tX}]

二項分布

1回の試行で事象Aが起こる確率が$p$の試行を独立に$n$回繰り返す時事象Aの起こる回数$X$は二項分布$Bin(n,p)$に従う．　

密度関数

f(k) = {}_n C_k p^{k}q^{n-k}~(k=0,1,\cdots,n)\\
(0<p<1,p+q=1)

$\fbox{期待値}$

\begin{align}
\mathbb{E}[X] &= \sum_{k=0}^{n} k\cdot{}_n C_k p^{k}q^{n-k}\\
&=\sum_{k=0}^{n} k\frac{n!}{k!(n-k)!}p^{k}q^{n-k}\\
&=\sum_{k=0}^{n}n\frac{(n-1)!}{(k-1)!(n-1-k+1)!}p^{k}q^{n-k}\\
&=np\sum_{k=0}^{n}\frac{(n-1)!}{(k-1)!\{(n-1)-(k-1)\}!}p^{k-1}q^{(n-1)-(k-1)}\\
&=np
\end{align}

$\fbox{分散}$

Var[X] = \mathbb{E}[X(X-1)]+\mathbb{E}[X]-(\mathbb{E}[X])^2

となるので，第一項目を計算する．

\begin{align}
\mathbb{E}[X(X-1)] &= \sum_{k=0}^{n} k(k-1)\cdot{}_n C_k p^{k}q^{n-k}\\
&=\sum_{k=0}^{n}n(n-1)\frac{(n-2)!}{(k-2)!(n-k)!}p^{k}q^{n-k}\\
&=n(n-1)p^{2}\sum_{k=0}^{n}\frac{(n-2)!}{(k-2)!\{(n-2)-(k-2)\}!}p^{k-2}q^{(n-2)-(k-2)}\\
&=n(n-1)p^2
\end{align}

よって，

Var[X] = n(n-1)p^2+np-(np)^2 = np(1-p)

$\fbox{積率母関数}$

\begin{align}
\mathbb{E}[e^{tX}]&=\sum_{k=0}^{n}e^{tk}\cdot {}_n C_k p^{k}q^{n-k}\\
&=\sum_{k=0}^{n} {}_n C_k (pe^{t})^{k}q^{n-k}\\
&=(pe^{t}+q)^n
\end{align}

ポアソン分布

$n\to\infty$のとき，$Bin(n,\lambda/n)$の極限の分布がポアソン分布$P_{0}(\lambda)$である．ある期間内に平均$\lambda$回起こる事象が$X$回起こる時，$X$はポアソン分布$P_{0}(\lambda)$に従う．　

密度関数

f(k) = e^{-\lambda}\frac{\lambda^{k}}{k!}~(k=0,1,\cdots)~
(\lambda>0)

$\fbox{期待値}$

\begin{align}
\mathbb{E}[X]&=\sum_{k=0}^{\infty}ke^{-\lambda}\frac{\lambda^{k}}{k!}\\
&=\sum_{k=0}^{\infty}e^{-\lambda}\frac{\lambda^{k}}{(k-1)!}\\
&=\lambda e^{-\lambda}\sum_{k=0}^{\infty}\frac{\lambda^{k-1}}{(k-1)!}\\
&=\lambda e^{-\lambda}e^{\lambda}(\because \mathrm{Taylor~expansion})\\
&=\lambda
\end{align}

$\fbox{分散}$

Var[X] = \mathbb{E}[X(X-1)]+\mathbb{E}[X]-(\mathbb{E}[X])^2

となるので，第一項目を計算する．

\begin{align}
\mathbb{E}[X(X-1)] &=\sum_{k=0}^{\infty}k(k-1)e^{-\lambda}\frac{\lambda^{k}}{k!}\\
&=\sum_{k=0}^{\infty}e^{-\lambda}\frac{\lambda^{k}}{(k-2)!}\\
&=e^{-\lambda}\lambda^2\sum_{k=0}^{\infty}\frac{\lambda^{k-2}}{(k-2)!}\\
&=\lambda^2
\end{align}

よって，

Var[X] = \lambda^2+\lambda-(\lambda)^2 = \lambda 

$\fbox{積率母関数}$

\begin{align}
\mathbb{E}[e^{tX}]&=\sum_{k=0}^{\infty}e^{tk}e^{-\lambda}\frac{\lambda^{k}}{k!}\\
&=e^{-\lambda}\sum_{k=0}^{\infty}\frac{(\lambda e^{t})^k}{k!}\\
&=e^{-\lambda}e^{\lambda e^{t}}\\
&=e^{\lambda(e^{t}-1)}
\end{align}

負の二項分布

1回の試行で事象$A$が起こる確率が$p$の試行を独立に繰り返すとき，(2項分布と同様)ある$\alpha$回目までに$A$以外に事象が起こる回数$X$は$NB(\alpha,p)$に従う．

密度関数

\begin{align}
f(k) &= {}_{-\alpha}C_k p^{\alpha}(-q)^{k}~(k=0,1,\cdots)\\  
&={}_{\alpha+k-1}C_k p^{\alpha}q^{k}~(k=0,1,\cdots)\\
&(\alpha>0,0<p<1,p+q=1)
\end{align}

$\fbox{期待値}$

\begin{align}
\mathbb{E}[X] &= \sum_{k=0}^{\infty} k\cdot{}_{\alpha+k-1}C_k p^{\alpha}q^{k}\\
&=\sum_{k=0}^{\infty} k\frac{(\alpha+k-1)!}{k!(\alpha-1)!}p^{\alpha}q^{k}\\
&=\sum_{k=0}^{\infty} \frac{(\alpha+k-1)\cdots(\alpha+1)\alpha}{(k-1)!}p^{\alpha}q^{k-1}\\
&=\alpha p^{\alpha}q\sum_{k=0}^{\infty}\frac{(\alpha+k-1)\cdots(\alpha+1)}{(k-1)!}q^{k-1}\\  
\end{align}

ここで，　

\sum_{k=0}^{\infty}{}_{\alpha+k-1}C_{k-1}q^{k-1}=\frac{1}{(1-q)^{\alpha+1}}=\frac{1}{p^{\alpha+1}}

よって，

\mathbb{E}[X] = \alpha\frac{q}{p}

$\fbox{分散}$

Var[X] = \mathbb{E}[X(X-1)]+\mathbb{E}[X]-(\mathbb{E}[X])^2

となるので，第一項目の計算のみ行えばよい．期待値と同様の計算を行えばよい．その結果は

\mathbb{E}[X(X-1)] = \frac{\alpha(\alpha+1)q^2}{p^2}

なので，

\begin{align}
Var[X] &= \frac{\alpha(\alpha+1)q^2}{p^2}+\frac{\alpha q}{p}-\left(\frac{\alpha q}{p}\right)^2\\
&= \frac{\alpha q}{p^2}
\end{align} 

$\fbox{積率母関数}$

\begin{align}
\mathbb{E}[e^{tX}] &= \sum_{k=0}^{\infty}e^{tk}(-1)^k{}_{-\alpha}C_k p^{\alpha}q^{k}\\
&=p^{\alpha}\sum_{k=0}^{\infty}{}_{-\alpha}C_k (-qe^{t})^{k}\\
&=p^{\alpha}\frac{1}{(1-qe^{t})^{\alpha} }
\end{align}

最後の行は期待値の計算過程に登場した級数による式変形を用いている．

幾何分布

1回の試行で事象Aが起こる確率$p$の試行を独立に繰り返すとき，はじめてA
が起こるまでにA以外の事象が起こる回数が分布$G(p)$である．

$\fbox{密度関数}$

\begin{align}
f(k)&=pq^{k}(k=0,1,\cdots)\\
&(0<p<1,p+q=1) 　
\end{align}

このあとの式変形で用いる等式を以下に述べる．初項1，等比$x$の等比数列の無限和を用いた以下の等式を導出する．

\begin{align}
&\sum_{k=0}^{\infty}x^{k}=\dfrac{1}{1-x}\\
&\sum_{k=0}^{\infty}kx^{k-1}=\dfrac{1}{(1-x)^2}\\
&\sum_{k=0}^{\infty}k(k-1)x^{k-2}=\dfrac{2}{(1-x)^3}\\ 
\end{align}

$\fbox{期待値}$

\begin{align}
\mathbb{E}[X]&=\sum_{k=0}^{\infty}kpq^{k}\\
&=pq\sum_{k=0}^{\infty}kq^{k-1}\\
&=pq\dfrac{1}{(1-q)^2}\\
&=\dfrac{q}{p}
\end{align}

$\fbox{分散}$

Var[X] = \mathbb{E}[X(X-1)]+\mathbb{E}[X]-(\mathbb{E}[X])^2

を用いる．第一項目のみ計算する．

\begin{align}
\mathbb{E}[X(X-1)]&=\sum_{k=0}^{\infty}k(k-1)pq^{k}\\
&=pq^2\sum_{k=0}^{\infty}k(k-1)q^{k-2}\\
&=pq^2\dfrac{2}{(1-q)^3}\\
&=\dfrac{2q^2}{p^2} 
\end{align}

よって，

\begin{align}
Var[X] &= \dfrac{2q^2}{p^2} -\dfrac{q}{p}-\left(\dfrac{q}{p}\right)^2\\
&=\dfrac{q}{p^2} 
\end{align}

$\fbox{積率母関数}$

\begin{align}
\mathbb{E}[e^{tX}] &= \sum_{k=0}^{\infty}e^{tk}pq^{k}\\
&=p\sum_{k=0}^{\infty}(e^{t}q)^{k}\\
&=p\dfrac{1}{1-e^{t}q}\\ 
&=p(1-qe^{t})^{-1} 
\end{align}