はじめに
確率論や数理統計を勉強していると，
- 特性関数 (Characteristic Function)
- 積率母関数あるいはモーメント母関数 (Moment Generating Function)
- キュムラント母関数 (Cumulant Generating Function)
という3種類の「母関数」が登場します．
どれも確率分布を特徴付ける関数ですが，
- 結局何が違うのか？
- なぜ3種類もあるのか？
- どんな場面で使い分けるのか？
は初学者には分かりにくいと思われます（個人的に分からなかったため調べていました）．
この記事では，それぞれの定義・性質・使いどころを整理します．
| 名称 | 定義（の気持ち） |
|---|---|
| 特性関数 | $\displaystyle \varphi_X(t)=E[e^{itX}]$ |
| 積率母関数 | $\displaystyle M_X(t)=E[e^{tX}]$ |
| キュムラント母関数 | $\displaystyle K_X(t)=\log M_X(t)$ |
特性関数
定義
$(\mathbb R, \mathcal B(\mathbb R))$上の確率測度$\mu \in \mathcal P(\mathbb R)$の特性関数とは，
$$
\varphi(t) \equiv \varphi_\mu(t)= \int_{\mathbb R} e^{itx}\mu(dx), \quad t \in \mathbb R
$$
を言う．（つまり，測度の逆Fourier変換に他ならない．）
実数値関数$X$の特性関数とは，$X$の分布$P_X$の特性関数，すなわち
$$
\varphi(t) \equiv \varphi_X(t)=E[e^{itX}], \quad t \in \mathbb R
$$
である．
特徴
存在性
最も大切な特徴としてすべての確率分布で必ず定義できることが挙げられます．
なぜなら，$|e^{itX}|=1$なので期待値は必ず存在するからです．
測度論としてもう少し丁寧に記述するなら，$f(X)$の期待値が定義できるとは，$f$が$\mu$-可積分であること，すなわち
$$
\int_\mathbb R |f(x)| \mu(dx) < \infty
$$
が成立することを意味します．特性関数の場合は$f(x) = e^{itx}$ですから，
$$
\int_\mathbb R |e^{itx}| \mu(dx) = \int_\mathbb R \mu(dx)
= 1 < \infty
$$
より導かれます．
一意性
特性関数は
特性関数が一致する $\Longleftrightarrow$ 分布が一致する
という強い性質を持ちます．この性質は一般の確率分布に対して成立します．証明は難しいので省略しますが，イメージとしてはFourier変換の一意性から導かれると考えればよいでしょう．
具体的な証明は参考文献[1]などにあります．
独立和→積
$X, Y$が独立な確率変数のとき，
$$
\varphi_{X+Y}(t) =
\varphi_X(t)\varphi_Y(t)
$$
を満たします．これは
$$
E[e^{it(X+Y)}]=E[e^{itX}e^{itY}]=E[e^{itX}]E[e^{itY}]
$$
からすぐに従います．
モーメントの計算
後述するようにモーメントの計算においては積率母関数を用いた方が計算が（やや）楽ですが，特性関数からも得ることが出来ます．
具体的には，
$E[|X|^k] < \infty$の時，$X$の特性関数$\phi_X$は$k$回微分可能で，
$$
\frac{d^k}{dt^k}\phi_X \Bigg|_{t = 0} = i^k E\left[X^k\right]．
$$
証明は省略しますが，「微分がモーメントになる」という点に関しては後述の積率母関数の節に書いた証明と同様で，本質的にはこの条件下で積分と微分が交換できることから言うことができます．
どんな場面で使うのか
- 分布を特徴付けたい
- モーメントが存在しない分布も扱いたい
- 中心極限定理などの一般理論
では特性関数が最もよく用いられます．
積率母関数
定義
確率変数$X$の積率母関数（あるいはモーメント母関数）$M_X$とは，うまく定義できるような$t$に対して
$$
M_X(t)=E[e^{tX}]
$$
で定義される関数のこと．
より正確には，
確率測度$\mu \in \mathcal P(\mathbb R)$に対し，
$$
\int_\mathbb R e^{tx}\mu(dx) < \infty
$$
が成り立つ$t$に対して
$$
M_\mu (t) = \int_\mathbb R e^{tx} \mu(dx)
$$
を$\mu$の積率母関数という．また確率変数$X$の積率母関数とは$\mu = P \circ X^{-1}$を満たす押し出し測度$\mu$の積率母関数のことである．
特性関数との違いは$it$が$t$になったのみです．
注意すべきは，$e^{tx}$の連続性よりLebesgue–Stieltjes積分自体は定義できますが，値が有界かどうかは分からない点です．
$$
\int_\mathbb R |e^{tx}|\mu(dx) = \int_\mathbb R e^{tx}\mu(dx)
$$
ですから有界性は$t$に依存し，発散する場合も存在するため，それを考慮した定義が上記のものとなります．
特徴
一意性
確率変数$X, Y$に対して積率母関数$M_X, M_Y$が$t = 0$周辺で定義されているという条件下では，$X$と$Y$が同一の分布に従っていることは$M_X = M_Y$と同値になります．
独立和→積
$X, Y$が独立なら
$$
M_{X+Y}(t) = M_X(t)M_Y(t)
$$
となります．この点は特性関数と同じです．
モーメントの計算
積率母関数の最大の利点は，関率母関数が$t = 0$周辺で定義されていれば
$$
\frac{d^n}{dt^n} M_X \Bigg|_{t = 0} =E[X^n]
$$
が成り立つことです．
つまり
- $E[X]$：平均
- $V[X] = E[X^2] - E[X]^2$：分散
- 高次モーメント
を微分だけで（特性関数からの場合よりも）簡単に計算できます．
以下では
「$t = 0$近傍で積率母関数が存在すればすべてのモーメントは存在する（有限である）」という命題を示しましょう．
ある$\varepsilon > 0$が存在して，$(-\varepsilon, \varepsilon)$において積率母関数$M_X$が定義されていると仮定する．
このとき，
$$
\int_\mathbb R e^{\varepsilon |x| / 2}d\mu = 2\int_{\mathbb R_{\ge 0}} e^{\varepsilon |x| / 2}d\mu \le 2\int_{\mathbb R} e^{\varepsilon x / 2}d\mu = 2M_X\left(\frac{\varepsilon}{2}\right) < \infty \tag{1}
$$
である．（$d\mu$はここまでの$\mu(dx)$の意味）
さらにTaylor展開
$$
e^{\varepsilon|x|} = \sum_k \frac{(\varepsilon|x|)^k}{k!}
$$
より
$$
|x^n| = |x|^n \le \frac{n!}{\varepsilon^n} e^{\varepsilon|x|}
$$
であるので，(1)式と合わせて
$$
\int_\mathbb R |x^n| d\mu \le \frac{n!}{\varepsilon^n} \int_\mathbb R e^{\varepsilon|x|} d\mu < \infty．
$$
よって$x^n$は$\mu$-可積分であり，これはすなわちすべてのモーメントが存在することを意味する．$\square$
一方でこの命題の逆は成り立ちません．反例は対数正規分布です．
$Z \sim N(0, 1)$とし，$X = e^Z$とします．このとき
$$
E[X^n] = \int_\mathbb R (e^z)^n \frac{1}{\sqrt{2\pi}}e^{-z^2/2}dz = \int_\mathbb R \frac{1}{\sqrt{2\pi}}e^{-z^2/2 + nz}dz = e^{n^2/2} < \infty
$$
となるため，すべてのモーメントは存在します．
しかし$t > 0$において
$$
\int_\mathbb R e^{te^z} \frac{1}{\sqrt{2\pi}}e^{-z^2/2}dz
$$
は発散するので，$t > 0$において$X$の積率母関数は定義できません．
更に，モーメントの値が上に記載した通りになることを示します．
ある$\varepsilon > 0$が存在して，$(-\varepsilon, \varepsilon)$において積率母関数$M_X$が定義されていると仮定する．
このとき，
$$
\left| \frac{\partial}{\partial t} e^{tx} \right| = |x|^n e^{tx} \le |x|^n e^{\varepsilon |x| / 2} \in L^1(\mu) \quad (|t| < \varepsilon /2)
$$
である（前節(1)式と同様の議論により）．
よって$|t| < \varepsilon /2$においては優収束定理より以下のように積分と微分が交換でき，
$$
\frac{d^n}{dt^n} M_X = \frac{d^n}{dt^n} \int_\mathbb R e^{tx} d\mu = \int_\mathbb R x^n e^{tx}d\mu
$$
特に$t = 0$を代入すれば
$$
\frac{d^n}{dt^n} M_X \Bigg|_{t = 0} = \int x^n d\mu = E[X^n]
$$
が得られる．$\square$
特性関数より便利な場面
既に記載したように，積率母関数はモーメント計算において便利な関数であると考えられます．
また他にも，Chernoff不等式に現れます．Chernoff不等式とは
$$
P(X\ge a)
\le
e^{-ta}E[e^{tX}]=e^{-ta}M_X(t)
$$
という末尾確率を評価する際に用いられる不等式で，$t$を任意に選べるため，$\inf_t e^{-ta}M_X(t)$を計算することでかなり鋭い上界を得られます…とのことです（私は調べて初めて知りました）．
キュムラント母関数
定義
$$
K_X(t)=\log M_X(t)
$$
積率母関数の対数のこと．定義される範囲は積率母関数と同様である．
なお，確率過程やフーリエ解析では，特性関数の対数$\log \phi(t)$を用いる流儀もあります．この場合も展開係数は同じキュムラントになりますが，複素対数の分枝や特性関数の零点に注意が必要です．
特徴
一意性
積率母関数と同条件です．
キュムラント
テイラー展開
$$
K_X(t)
=\sum_{n=1}^{\infty}
\kappa_n
\frac{t^n}{n!}
$$
の係数$\kappa_n$をキュムラントと呼びます．
$\mu$を平均，$\sigma^2$を分散，$\nu_k$を平均まわりの$k$次モーメントとすると，キュムラント母関数は
$$
K_X(t) = \log (E[e^{itX}]) = t\mu+ \log (E[e^{t(X - \mu)}]) = t\mu+ \log \left(1 + \sum_{j = 2}^\infty\frac{t^j}{j!}\nu_j\right)
$$
をlogについてtaylor展開することを考えれば
- $\kappa_1 = \mu$：平均
- $\kappa_2 = \nu_2 = \sigma^2$：分散
- $\kappa_3 = \nu_3$
- $\kappa_4 = \nu_4 - 3\nu_2^2$
- $\kappa_5 = \nu_5 - 10\nu_2\nu_3$（以下複雑になってゆく…）
という関係式が得られます．
特に，
$$
\frac{\kappa_3}{{\kappa_2}^{3/2}} = \frac{\nu_3}{\sigma^3}
$$
を歪度，
$$
\frac{\kappa_4}{{\kappa_2}^2} = \frac{\nu_4 - 3{\nu_2}^2}{{\nu_2}^2} = \frac{\nu_4}{\sigma^4} - 3
$$
を尖度（あるいは超過尖度）と呼び，これらは正規分布との近さを考える上で重要なパラメータです（正規分布は0）．
独立和→和
$$
M_{X+Y}=M_XM_Y
$$
なので
$$
K_{X+Y}=K_X+K_Y
$$
となります．これは非常に簡潔なので，中心極限定理の証明などに用いることで見通しが良くなります．
というわけで証明を記載します．
ただし，キュムラント母関数が定義できる場合を考えます．一般には特性関数を用いるように思います．
中心極限定理の主張
$X_1, \dots, X_n$を独立に同一の分布に従う確率変数とする．$\mu = E[X_1], \sigma^2 = V[X_1]$と置く．
また，
$$
\bar X = \frac{1}{n} \sum_iX_i,\quad Z = \frac{\bar X - \mu}{\sigma/\sqrt n}
$$
とする．このとき，$Z$は$n \to \infty$で$N(0, 1)$に収束する．
略証
$Z_k = \frac{X_k - \mu}{\sigma}$とおくと，$E[Z_k] = 0, V[Z_k] = 1$で
$$
Z = \frac{\sum_i Z_i}{\sqrt n}．
$$
また，任意の$k$について$Z_k$のキュムラント母関数$K$は
$$
K(t) = \sum_j \frac{\kappa_j}{j!}t^j = \frac1{2!}t^2 + \frac{\kappa_3}{3!}t^3 + \frac{\kappa_4}{4!}t^4 + \sum_{j = 5}^\infty \frac{\kappa_j}{j!}t^j
$$
であるから，$Z$のキュムラント母関数$K_Z$は
\begin{align}
K_Z(t) &= nK\left(\frac{t}{\sqrt n}\right)\\
&= \frac12 t^2 + \frac{1}{\sqrt n} \frac{\kappa_3}{3!} t^3 + \frac{1}{n} \frac{\kappa_4}{4!} t^4 + o\left(\frac{1}{n}\right)
\end{align}
となる．これは$n \to \infty$で$\frac12 t^2$，つまり標準正規分布$N(0, 1)$のキュムラント母関数に収束する．$\square$
（さらに最後の式を見ることで，歪度$\neq 0$の場合は収束の速さが$1/\sqrt n$であることなどが分かる．）
おわりに
ここまで各母関数の特徴を簡単に見てきましたが，分布を特徴付けるという意味では特性関数だけで十分です．
しかし目的によっては，積率母関数やキュムラント母関数の方が計算が大幅に簡単になる場合もあることが分かりました．
まとめると，大まかには
- 特性関数：理論のための道具
- 積率母関数：モーメント計算・指数型解析のための道具
- キュムラント母関数：独立和・漸近理論のための道具
という役割分担になっていると見てよいのではないでしょうか．
参考文献
- 舟木直久, 確率論, 朝倉書店, 2004.
参考にしたサイト：
・各関数のwikipedia