皆様、お疲れ様です！
株式会社ジール新米SIerの窪田です。

統計検定準1級に向けての勉強中に母関数でつまずいたので、自身の理解を備忘録として残しておこうと思います。

母関数のモチベーション

ズバリ、「期待値と分散を求めたい！！」 です。
このモチベーションを理解しないまま統計学実践ワークブックを読んでしまうと、難しい数式が現れノックアウトされます。（私は、ノックアウトされました。。。）

母関数について

統計学実践ワークブックには、下記の様に記述されております。

整数値をとる確率変数 X の確率関数を p(x) とし、 s を任意の実数とするときに X の確率母関数を
G(s) = E[s^X] = \sum_{k=1} s^xp(x)
と定義する。

この定義をみて、なぜ確率変数を指数におくのかわからずノックアウトされました。
ここで終わると難しい数式が登場しただけになるのですが、微分を駆使することで非常に有能な数式になります！

X の期待値を求める!

まずは G(s) を s で微分します。

G'(s) = E[Xs^{X-1}]

ここで s = 1とすると、

G'(1) = E[X]

なんと母関数を微分した関数の s を1とすることで、確率変数 X の期待値を求めることができました！

X の分散を求める！

先ほど微分した式をもう一度 s で微分します。

G''(s) = E[X(X-1)s^{X-2}]

ここで s = 1とすると、

G''(1) = E[X(X-1)]
       = E[X^2-X]
       = E[X^2]-E[X]

ここで分散の式を思い出すと

V[X] = E[X^2]-(E[X])^2

です。 E[X] を足して引くと、

V[X]=E[X^2]-(E[X])^2-E[X]+E[X]=G''(1)+G'(1)-(G'(1))^2

となります。
母関数を2回微分した関数の s を1とした式を利用することで分散も求めることができました！

母関数の例題

統計学実践ワークブック問2.2を例題に解いてみたいと思います。

問題

問2.2
X を幾何分布に従う離散確率変数とする。すなわち X は非負整数値をとりその確率関数を
p(x) = p(1-p)^x , x = 0,1,2,...
とする。ただし、0 < p < 1は幾何分布のパラメータである。X の確率母関数 G(s) を求めよ。また確率母関数を微分することにより X の期待値と分散を求めよ。

解答

母関数を求める

まずは定義から確率母関数を書いて整理しましょう。

G(s) = E[s^X] = \sum_{x=0}^{∞} s^xp(x)=\sum_{x=0}^{∞} s^xp(1-p)^x=p\sum_{x=0}^{∞} (s(1-p))^x

次にΣ以降を計算していきます。これは、無限等比級数の和の公式を使用します。

無限等比級数の和の公式

等比数列a_n=ar^{n-1}に対する無限等比級数の和は、

|r| < 1のとき、一定の値 \cfrac{a}{1-r} に収束する。

|r| \geqq 1のとき、発散する。

s(1-p) を公比（ r ）と考えると、

p\sum_{x=0}^{∞} (s(1-p))^x = p×\cfrac{1}{1-(1-p)s} = \cfrac{p}{1-(1-p)s}

これで、確率母関数 G(s) が求められました。
ただし和が収束するのは公比の絶対値が1以下の場合なので、 |s| < 1/1-p という条件が付きます。

母関数を微分して期待値を求める

先ほど求めた母関数を微分するには下記の公式を使用します。

\biggl(\cfrac{u}{v}\biggr)'=\cfrac{u'v-uv'}{v^2}

u = p、v=1-(1-p)sとおいてsで微分すると

 G'(s)=\cfrac{0-p×(1-(1-p)s)'}{(1-(1-p)s)^2}=\cfrac{p(1-p)}{(1-(1-p)s)^2}

ここでs=1を代入すると

 G'(1)=\cfrac{p(1-p)}{(1-(1-p)×1)^2}=\cfrac{p(1-p)}{p^2}=\cfrac{1-p}{p}

従って期待値は

 E[X]=G'(1)=\cfrac{1-p}{p}

となります。

さらに微分して分散を求める

母関数の2回微分をしたものを駆使することで分散を求めることができましたので、G'(s) をさらに微分します。
u = p(1-p)、v={1-(1-p)s}^2とおいてsで微分すると

 G''(s)=\cfrac{0-p(1-p)×\{(1-(1-p)s)^2\}'}{(1-(1-p)s)^4}

=\cfrac{-p(1-p)×\{2(1-(1-p)s)×(-(1-p))\}}{(1-(1-p)s)^4}

 =\cfrac{-p(1-p)×\{2(1-(1-p)s)×(-(1-p))\}}{(1-(1-p)s)^4}

式が整理されていませんが、s=1を代入しましょう。

 G''(1)=\cfrac{-p(1-p)×\{-2p(1-p)\}}{p^4}=\cfrac{2p^2(1-p)^2}{p^4}=\cfrac{2(1-p)^2}{p^2}

これで G'(1) と G''(1) が求められたので、分散を算出することができます。

V[X]=G''(1)+G'(1)-(G'(1))^2=\cfrac{2(1-p)^2}{p^2}+\cfrac{1-p}{p}-\biggl(\cfrac{1-p}{p}\biggr)^2=\cfrac{1-p}{p^2}

以上で、母関数、期待値、分散を求めることができました！

まとめ

期待値と分散を求めたいときは母関数を考えてみる！

ご拝読頂き、ありがとうございます。
お疲れ様でした！