確率母関数と積率母関数
Probability Generating Function / Moment Generating Function
母関数とは、確率分布の情報をひとつの関数にまとめ、微分によって平均や分散などを取り出せるようにした道具である。
| 概念 | 入力 | 出力 | 意味 |
|---|---|---|---|
| 確率母関数 | 離散型確率変数 (X) | 関数 (G_X(s)) | 離散分布の確率構造をまとめる |
| 積率母関数 | 確率変数 (X) | 関数 (M_X(t)) | モーメント（平均・分散など）をまとめる |
1. 基本単語
-
確率母関数（Probability Generating Function, PGF）
非負整数値をとる離散型確率変数 (X) に対して定義される関数で、確率分布をべき級数の形で表す。 -
積率母関数（Moment Generating Function, MGF）
確率変数 (X) に対して定義される関数で、微分すると積率（モーメント）が得られる。 -
平均（期待値）
確率変数の中心的な大きさを表す量。 -
分散
確率変数のばらつきの大きさを表す量。 -
2次モーメント
(E[X^2]) のこと。分散を求めるときに使う。 -
階乗モーメント
(E[X(X-1)]) のような形。確率母関数を微分すると自然に現れる。
2. 数式表現
2.1 確率母関数
非負整数値をとる離散型確率変数 (X) に対して
G_X(s)=E[s^X]=\sum_{x=0}^{\infty}s^x P(X=x)
2.2 積率母関数
確率変数 (X) に対して
M_X(t)=E[e^{tX}]
離散型なら
M_X(t)=\sum_x e^{tx}P(X=x)
連続型なら
M_X(t)=\int_{-\infty}^{\infty} e^{tx} f_X(x)\,dx
3. 意味（直感的理解）
3.1 確率母関数の意味
確率母関数
G_X(s)=\sum_{x=0}^{\infty} s^x P(X=x)
では、各確率 (P(X=x)) が (s^x) の係数として埋め込まれている。
つまり、
- 離散分布をひとつの関数にまとめている
- 微分すると (x), (x(x-1)) のような形が出てくる
- したがって、平均や分散が求められる
という仕組みになっている。
3.2 積率母関数の意味
積率母関数
M_X(t)=E[e^{tX}]
では、指数関数のテイラー展開
e^{tX} = 1+tX+\frac{t^2X^2}{2!}+\frac{t^3X^3}{3!}+\cdots
を使うと、
M_X(t)=E\left[1+tX+\frac{t^2X^2}{2!}+\cdots\right]
=1+tE[X]+\frac{t^2}{2!}E[X^2]+\cdots
となる。
つまり、
- (t) で微分して (t=0) を代入すると (E[X]) が出る
- さらに2回微分して (t=0) を代入すると (E[X^2]) が出る
ので、平均や分散を求められる。
4. 離散型確率分布に対する確率母関数の使い方
ここでは、離散型確率変数 (X) に対して、確率母関数から平均と分散を求める。
4.1 確率母関数の定義
G_X(s)=E[s^X]=\sum_{x=0}^{\infty}s^x P(X=x)
4.2 1回微分して平均を求める
両辺を (s) で微分する。
G_X'(s)
=
\frac{d}{ds}\sum_{x=0}^{\infty} s^x P(X=x)
=
\sum_{x=0}^{\infty} x s^{x-1} P(X=x)
これは期待値の形で書くと
G_X'(s)=E[Xs^{X-1}]
ここで (s=1) を代入すると
G_X'(1)=\sum_{x=0}^{\infty} x \cdot 1^{x-1} P(X=x)
=\sum_{x=0}^{\infty} x P(X=x)
=E[X]
したがって、
E[X]=G_X'(1)
4.3 2回微分して (E[X(X-1)]) を求める
さらに微分する。
G_X''(s)
=
\frac{d}{ds}\sum_{x=0}^{\infty} x s^{x-1} P(X=x)
=
\sum_{x=0}^{\infty} x(x-1)s^{x-2}P(X=x)
ここで (s=1) を代入すると
G_X''(1)
=
\sum_{x=0}^{\infty} x(x-1) P(X=x)
=
E[X(X-1)]
したがって、
G_X''(1)=E[X(X-1)]
4.4 (E[X^2]) に直す
分散を求めるには (E[X^2]) が必要である。
ここで
X(X-1)=X^2-X
なので、両辺の期待値をとると
E[X(X-1)] = E[X^2-X]
E[X(X-1)] = E[X^2]-E[X]
よって
E[X^2]=E[X(X-1)] + E[X]
先ほどの結果を代入すると
E[X^2]=G_X''(1)+G_X'(1)
4.5 分散を求める
分散の定義は
Var(X)=E[X^2]-(E[X])^2
であるから、
Var(X)=\left(G_X''(1)+G_X'(1)\right)-\left(G_X'(1)\right)^2
したがって、確率母関数を用いると
E[X]=G_X'(1)
Var(X)=G_X''(1)+G_X'(1)-\left(G_X'(1)\right)^2
5. 離散型確率分布に対する積率母関数の使い方
離散型でも積率母関数は使える。むしろこちらの方が連続型と統一的に扱える。
5.1 積率母関数の定義
M_X(t)=E[e^{tX}]=\sum_x e^{tx}P(X=x)
5.2 1回微分して平均を求める
両辺を (t) で微分する。
M_X'(t)
=
\frac{d}{dt}\sum_x e^{tx}P(X=x)
=
\sum_x x e^{tx}P(X=x)
これは
M_X'(t)=E[Xe^{tX}]
と書ける。
ここで (t=0) を代入すると
M_X'(0)
=
\sum_x x e^{0\cdot x}P(X=x)
=
\sum_x x P(X=x)
=
E[X]
したがって、
E[X]=M_X'(0)
5.3 2回微分して (E[X^2]) を求める
さらに微分する。
M_X''(t)
=
\frac{d}{dt}\sum_x x e^{tx}P(X=x)
=
\sum_x x^2 e^{tx}P(X=x)
したがって
M_X''(t)=E[X^2 e^{tX}]
ここで (t=0) を代入すると
M_X''(0)
=
\sum_x x^2 e^{0\cdot x}P(X=x)
=
\sum_x x^2 P(X=x)
=
E[X^2]
よって、
E[X^2]=M_X''(0)
5.4 分散を求める
分散の定義
Var(X)=E[X^2]-(E[X])^2
に代入すると
Var(X)=M_X''(0)-\left(M_X'(0)\right)^2
したがって、積率母関数を用いると
E[X]=M_X'(0)
Var(X)=M_X''(0)-\left(M_X'(0)\right)^2
6. 連続型確率分布に対する積率母関数の使い方
連続型では、通常は積率母関数を用いる。確率母関数は一般には使わない。
6.1 積率母関数の定義
連続型確率変数 (X) の確率密度関数を (f_X(x)) とすると、
M_X(t)=E[e^{tX}]
=
\int_{-\infty}^{\infty} e^{tx} f_X(x)\,dx
6.2 1回微分して平均を求める
両辺を (t) で微分する。
M_X'(t)
=
\frac{d}{dt}\int_{-\infty}^{\infty} e^{tx} f_X(x)\,dx
微分を中に入れると
M_X'(t)
=
\int_{-\infty}^{\infty} \frac{d}{dt}(e^{tx}) f_X(x)\,dx
=
\int_{-\infty}^{\infty} x e^{tx} f_X(x)\,dx
したがって
M_X'(t)=E[Xe^{tX}]
ここで (t=0) を代入すると
M_X'(0)
=
\int_{-\infty}^{\infty} x e^{0\cdot x} f_X(x)\,dx
=
\int_{-\infty}^{\infty} x f_X(x)\,dx
=
E[X]
よって、
E[X]=M_X'(0)
6.3 2回微分して (E[X^2]) を求める
さらに微分する。
M_X''(t)
=
\frac{d}{dt}\int_{-\infty}^{\infty} x e^{tx} f_X(x)\,dx
=
\int_{-\infty}^{\infty} x^2 e^{tx} f_X(x)\,dx
したがって
M_X''(t)=E[X^2e^{tX}]
ここで (t=0) を代入すると
M_X''(0)
=
\int_{-\infty}^{\infty} x^2 e^{0\cdot x} f_X(x)\,dx
=
\int_{-\infty}^{\infty} x^2 f_X(x)\,dx
=
E[X^2]
よって、
E[X^2]=M_X''(0)
6.4 分散を求める
分散の定義
Var(X)=E[X^2]-(E[X])^2
に代入すると
Var(X)=M_X''(0)-\left(M_X'(0)\right)^2
したがって、連続型確率分布では
E[X]=M_X'(0)
Var(X)=M_X''(0)-\left(M_X'(0)\right)^2
となる。
7. 離散型と連続型の整理
| 確率変数 | 主に使う母関数 | 平均 | 分散 |
|---|---|---|---|
| 離散型（非負整数値） | 確率母関数 $G_X(s)$ | $G_X'(1)$ | $G_X''(1)+G_X'(1)-[G_X'(1)]^2$ |
| 離散型（一般） | 積率母関数 $M_X(t)$ | $M_X'(0)$ | $M_X''(0)-[M_X'(0)]^2$ |
| 連続型 | 積率母関数 $M_X(t)$ | $M_X'(0)$ | $M_X''(0)-[M_X'(0)]^2$ |
8. 他概念との関係
8.1 確率母関数と積率母関数の違い
| 観点 | 確率母関数 | 積率母関数 |
|---|---|---|
| 記号 | $G_X(s)$ | $M_X(t)$ |
| 定義 | $E[s^X]$ | $E[e^{tX}]$ |
| 主な対象 | 非負整数値の離散型 | 離散型・連続型 |
| 微分で出る量 | $E[X]$, $E[X(X-1)]$ | $E[X]$, $E[X^2]$ |
| 分散公式 | 少し変形が必要 | そのまま使いやすい |
8.2 なぜ確率母関数では式が少しずれるのか
確率母関数では
G_X(s)=E[s^X]
を微分するため、
\frac{d}{ds}s^X = Xs^{X-1}
さらにもう1回微分すると
\frac{d^2}{ds^2}s^X = X(X-1)s^{X-2}
となる。
このため、2回微分して出てくるのは (X^2) ではなく
X(X-1)
である。
したがって
X^2 = X(X-1)+X
という変形が必要になる。
9. ポイント
-
確率母関数は、非負整数値の離散型確率変数に対して使う。
-
積率母関数は、離散型にも連続型にも使える。
-
確率母関数では
(G_X'(1)=E[X]), (G_X''(1)=E[X(X-1)])
となるので、分散ではひと手間必要。 -
積率母関数では
(M_X'(0)=E[X]), (M_X''(0)=E[X^2])
となるので、分散を出しやすい。 -
試験では、「何を代入するか」 を混同しやすい。
- PGFは (s=1)
- MGFは (t=0)
10. 覚え方
10.1 確率母関数
- G は Generating
- 1を入れる
- 2階微分では (X(X-1)) が出る
E[X]=G_X'(1)
Var(X)=G_X''(1)+G_X'(1)-\left(G_X'(1)\right)^2
10.2 積率母関数
- M は Moment
- 0を入れる
- そのまま (E[X]), (E[X^2]) が出る
E[X]=M_X'(0)
Var(X)=M_X''(0)-\left(M_X'(0)\right)^2
11. まとめ
母関数は、確率分布を関数としてまとめ、微分によって平均や分散を取り出すための道具である。
最後に重要公式をまとめる。
11.1 確率母関数
G_X(s)=E[s^X]
E[X]=G_X'(1)
E[X^2]=G_X''(1)+G_X'(1)
Var(X)=G_X''(1)+G_X'(1)-\left(G_X'(1)\right)^2
11.2 積率母関数
M_X(t)=E[e^{tX}]
E[X]=M_X'(0)
E[X^2]=M_X''(0)
Var(X)=M_X''(0)-\left(M_X'(0)\right)^2