背景

数理統計学に特性関数というものが出てきます。これを利用すると確率変数の和の従う分布を簡単に計算できます。教科書を読んでいるだけだとなかなか身につかないので手を動かしてみます。

特性関数とは

定義は

\phi(t) \equiv E[e^{itX}]

です。所見では意味がよくわからないのですが、実のところ、特性関数というのはフーリエ変換そのものです。上のように書くことで、連続分布と離散分布を統一的に定義出来るのが面白いですね。

ガウス変数の和の従う確率分布を計算してみる

$W,X,Y$がそれぞれ独立に標準正規分布に従うものとします。このとき、それぞれの特性関数は

\phi_X(t) = \int e^{itX}\frac{1}{\sqrt{2\pi}}e^{-x^2/2}dx = e^{-t^2/2}

となります。フーリエ変換そのまんまですね。それでは

z = w+x+y

の従う分布を考えます。$(w,x,y)\to(z,x',y')$という変数変換を考えます。これらは

\begin{eqnarray}
z &=& w+x+y\\
x' &=& x\\
y' &=& y
\end{eqnarray}

という関係とします。ヤコビアンは

\frac{\partial(w,x,y)}{\partial(z,x',y')} = \left(
\begin{array}{ccc}
1 & -1 & -1\\
0 & 1 & 0\\
0 & 0 & 1
\end{array}
\right)

です。行列式は$1$となることが簡単にわかります。和をとる確率変数の数が増えても一般に行列式の絶対値は$1$です。余因子展開で容易に確認できます。

\left(\frac{1}{\sqrt{2\pi}}\right)^3 e^{-w^2/2}e^{-x^2/2}e^{-y^2/2}dwdxdy = \left(\frac{1}{\sqrt{2\pi}}\right)^3 e^{-(z-x-y)^2/2}e^{-x^2/2}e^{-y^2/2}dxdydz

より、余分な変数を積分してやって

f_z(z) = \left(\frac{1}{\sqrt{2\pi}}\right)^3\int e^{-(z-x-y)^2/2}e^{-x^2/2}e^{-y^2/2}dxdy

となります。特性関数は

\phi_z(t) = \left(\frac{1}{\sqrt{2\pi}}\right)^3\int e^{-(z-x-y)^2/2}e^{-x^2/2}e^{-y^2/2}e^{itz}dxdydz

です。ここで$z-x-y=w$を代入すれば

\phi_z(t) = \left(\frac{1}{\sqrt{2\pi}}\right)^3\int e^{-w^2/2}e^{-x^2/2}e^{-y^2/2}e^{it(w+x+y)}dwdxdy = \phi_X(t)^3

と、特性関数の積になることがわかります。畳み込みの定理ですね。これを逆変換すれば

f_Z(z) = \frac{1}{2\pi}\int e^{itz}\phi_z(t)dt = \frac{1}{\sqrt{2\pi\cdot 3}}e^{-z^2/6}

となります。ガウス変数の和もまたガウス分布に従うことがわかります。和の統計性が特性関数の積から計算出来ることは便利で、中心極限定理の証明でも利用されます。

ポアソン変数の和の従う確率分布を計算してみる

一応離散分布でも同じようにして出来ることを確認しておきます。一変数の特性関数は

\phi_X(t) = \sum_x e^{itx}\frac{e^{-\lambda}\lambda^x}{x!} = e^{-\lambda}e^{\lambda e^{it}}

となります。ここで$z=x+y$の従う分布を計算してみます。$x,y$の同時分布は

p(x,y) = \frac{e^{-\lambda}\lambda^x}{x!}\frac{e^{-\lambda}\lambda^y}{y!} = \frac{e^{-\lambda}\lambda^x}{x!}\frac{e^{-\lambda}\lambda^{z-x}}{(z-x)!}

であり、余計な変数について和をとってやれば

p_Z(z) = \sum_{x}\frac{e^{-\lambda}\lambda^x}{x!}\frac{e^{-\lambda}\lambda^{z-x}}{(z-x)!}

となります。これの特性関数は

\phi_Z(t) = \sum_z e^{itz}p_Z(z) = \sum_z e^{itz}\sum_{x}\frac{e^{-\lambda}\lambda^x}{x!}\frac{e^{-\lambda}\lambda^{z-x}}{(z-x)!}

となります。$z=x+y$を代入すれば

\phi_Z(t) = \sum_z e^{itz}p_Z(z) = \sum_z e^{it(x+y)}\sum_{x}\frac{e^{-\lambda}\lambda^x}{x!}\frac{e^{-\lambda}\lambda^{y}}{y!} = \phi_X(t)^2

と、一変数の特性関数の積で書けます。これを逆変換してやります。

\begin{eqnarray}
p_Z(z) &=& \frac{1}{2\pi}\int_{-\pi}^\pi \phi_Z(t)dt\\
&=& \frac{1}{2\pi}\int_{-\pi}^\pi e^{-2\lambda}e^{2\lambda e^{it}}e^{-itz}dt\\
&=& \frac{1}{2\pi}\int_{-\pi}^\pi \sum_y e^{ity}\frac{e^{-2\lambda}(2\lambda)^y}{y!}e^{-itx}dt
\end{eqnarray}

となり、$y=x$以外ゼロなので

p_Z(z) = \frac{e^{-2\lambda}(2\lambda)^x}{x!}

となり、やはりポアソン分布に従うことがわかります。

まとめ

畳み込み計算にフーリエ変換を使うことは常識で、数理統計学においても重要な役割を果たすということですね。