モーメント母関数とは

以下の式で表し、確率変数X,Xの二乗,Xの三乗,・・・XのN乗の期待値を求めることができる。まあ基本的にはX,Xの二乗の期待値を求めるだけで済むことが多い。歪度(skwwness)・尖度(kurtosis)を求めたい場合も使うよ。

E[e^{θX}] = 1 + E[X]\frac{θ}{1!} + E[X^2]\frac{(θ)^2}{2!} + E[X^3]\frac{(θ)^3}{3!} + ・・・

確率密度f(x)で連続型確率変数Xに対して、モーメント母関数を考える。

M(θ) = E[e^{θX}] = \int_{-∞}^∞ e^{θx}f(x) dx

e^θXのマクローリン展開を求める

e^{θX} = 1 + \frac{θX}{1!} + \frac{(θX)^2}{2!} + \frac{(θX)^3}{3!} + ・・・

M(θ) = E[e^{θX}] = E\Big[1 + \frac{θX}{1!} + \frac{(θX)^2}{2!} + \frac{(θX)^3}{3!} + ・・・\Big]

E[e^{θX}] = E[1] + E[X]\frac{θ}{1!} + E[X^2]\frac{(θ)^2}{2!} + E[X^3]\frac{(θ)^3}{3!} + ・・・

E[1]は全確率より1である

E[1] = \int_{-∞}^∞ f(x) dx = 1

E[e^{θX}] = 1 + E[X]\frac{θ}{1!} + E[X^2]\frac{(θ)^2}{2!} + E[X^3]\frac{(θ)^3}{3!} + ・・・

上の式からE[X]を求めたい場合はθで一回微分してθ=0を代入すればいいし、E[X^2]を求めたい場合はθで二回微分してθ=0を代入すれば良い

\mu = E[X] = M'(0)

\sigma^2 = E[X^2] - E[X]^2 = M''(0) - M'(0)^2

二項分布の平均・分散を求める

離散的確率分布の場合も同様に

P_b(X) = {}_nC_x p^x q^{n-x}

M(θ) = E[e^{θX}] = \sum_{x=0}^{n} e^{θx} {}_nC_x p^x q^{n-x}

M(θ) = \sum_{x=0}^{n} {}_nC_x (pe^θ)^x q^{n-x}

ここでpe^θをa、qをbとおく

M(θ) = \sum_{x=0}^{n} {}_nC_x (a)^x b^{n-x}

二項定理を用いると

\sum_{x=0}^{n} {}_nC_x (a)^x b^{n-x} = (a + b)^n

M(θ) =　(pe^θ + q) ^ n

これで二項分布のモーメント母関数が求まりました！

M'(θ) = n(pe^θ+q)^{n-1}(pe^θ+q)'=np[(pe^θ+q)^{n-1}e^θ]

積の微分公式を使う

M''(θ) = np[(e^θ)'(pe^θ+q)^{n-1}+e^θ ((pe^θ+q)^{n-1})']

M''(θ) = np[e^θ(pe^θ+q)^{n-1}+e^θ(n-1)(pe^θ+q)^{n-2}pe^θ]

M''(θ) = np[e^θ(pe^θ+q)^{n-1}+pe^{2θ}(n-1)(pe^θ+q)^{n-2}]

p+q=1より

M'(0) =np(p+q)^{n-1}=np

平均はnp

M''(0) = np[(p+q)^{n-1}+p(n-1)(p+q)^{n-2}]

p+1=1より

M''(0) = np[1+p(n-1)] = np + (n-1)np^2

分散は

\sigma^2 = M''(0) - (M'(0)^2) = np + (n-1)np^2 - (np)^2

\sigma^2 = np - np^2 = np(1-p) = npq

正規分布の平均・分散を求める

正規分布は以下の式で表せる

N(\sigma, \mu) = \frac{1}{\sqrt{2π}\sigma}exp\Big(-\frac{(x-\mu)^2}{2\sigma^2}\Big)

まず、正規分布のモーメント母関数を求める

M(θ) = E[e^{θX}] = \int_{-∞}^∞ \frac{1}{\sqrt{2π}\sigma}exp\Big(-\frac{(x-\mu)^2}{2\sigma^2}+θx\Big)dx

exp指数部に注目して変形をする

指数部 = -\frac{(x^2-2\mu x+\mu^2)-2\sigma^2θx}{2\sigma^2}

指数部 = -\frac{(x^2-2(\mu +\sigma^2θ)x+\mu^2)}{2\sigma^2}

ここで二乗で括りたいので、以下の公式を使う

(x - a)^2 = x^2 -2ax + a^2

ここで示すaはu+σ^2θであり-a^2をし調整する

指数部 = -\frac{(x^2-2(\mu +\sigma^2θ)x+(\mu+\sigma^2θ)^2)-(\mu+\sigma^2θ)^2+\mu^2}{2\sigma^2}

指数部 = -\frac{(x-(\mu +\sigma^2θ))^2-(\mu+\sigma^2θ)^2+\mu^2}{2\sigma^2}

指数部 = -\frac{(x-(\mu +\sigma^2θ))^2-(\mu^2+2\mu\sigma^2θ+\sigma^4θ^2)+\mu^2}{2\sigma^2}

指数部 = -\frac{(x-(\mu +\sigma^2θ))^2-(2\mu\sigma^2θ+\sigma^4θ^2)}{2\sigma^2}

指数部 = -\frac{(x-(\mu +\sigma^2θ))^2}{2\sigma^2} + \muθ + \frac{\sigma^2θ^2}{2}

よって以下のように変形できる

M(θ) = E[e^{θX}] = \frac{1}{\sqrt{2π}\sigma}\int_{-∞}^∞ exp\Big(-\frac{(x-(\mu+\sigma^2θ)^2)}{2\sigma^2}\Big)exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)dx

exp(uθ+σ^2θ^2/2)部分は定数なので、定数部分を無視した積分を行う

\int_{-∞}^∞ exp\Big(-\frac{(x-(\mu+\sigma^2θ)^2)}{2\sigma^2}\Big)dx

zを下のように置くと

z = \frac{x-(\mu+\sigma^2θ)}{\sigma}

x = \sigma z + (\mu + \sigma^2 θ)

\int_{-∞}^∞ exp\Big(-\frac{z^2}{2}\Big)\frac{dx}{dz}dz

\sigma\int_{-∞}^∞ exp\Big(-\frac{z^2}{2}\Big)dz = \sqrt{2π}\sigma

正規分布のモーメント母関数が求まりました！

M(θ) = exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)

M(θ)' = (\mu+\sigma^2θ)exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)

平均はu

M(0)' = u

積の微分公式より

M(θ)'' = (\mu+\sigma^2θ)'exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)+(\mu+\sigma^2θ)exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)'

M(θ)'' = \sigma^2exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)+(\mu+\sigma^2θ)^2exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)

M(0)'' = \sigma^2+\mu^2

分散は

M''(0) - (M'(0)^2) = \sigma^2 + \mu^2 - \mu^2 = \sigma^2

ふー疲れたー