モーメント母関数とは
以下の式で表し、確率変数X,Xの二乗,Xの三乗,・・・XのN乗の期待値を求めることができる。まあ基本的にはX,Xの二乗の期待値を求めるだけで済むことが多い。歪度(skwwness)・尖度(kurtosis)を求めたい場合も使うよ。
E[e^{θX}] = 1 + E[X]\frac{θ}{1!} + E[X^2]\frac{(θ)^2}{2!} + E[X^3]\frac{(θ)^3}{3!} + ・・・
確率密度f(x)で連続型確率変数Xに対して、モーメント母関数を考える。
M(θ) = E[e^{θX}] = \int_{-∞}^∞ e^{θx}f(x) dx
e^θXのマクローリン展開を求める
e^{θX} = 1 + \frac{θX}{1!} + \frac{(θX)^2}{2!} + \frac{(θX)^3}{3!} + ・・・
M(θ) = E[e^{θX}] = E\Big[1 + \frac{θX}{1!} + \frac{(θX)^2}{2!} + \frac{(θX)^3}{3!} + ・・・\Big]
E[e^{θX}] = E[1] + E[X]\frac{θ}{1!} + E[X^2]\frac{(θ)^2}{2!} + E[X^3]\frac{(θ)^3}{3!} + ・・・
E[1]は全確率より1である
E[1] = \int_{-∞}^∞ f(x) dx = 1
E[e^{θX}] = 1 + E[X]\frac{θ}{1!} + E[X^2]\frac{(θ)^2}{2!} + E[X^3]\frac{(θ)^3}{3!} + ・・・
上の式からE[X]を求めたい場合はθで一回微分してθ=0を代入すればいいし、E[X^2]を求めたい場合はθで二回微分してθ=0を代入すれば良い
\mu = E[X] = M'(0)
\sigma^2 = E[X^2] - E[X]^2 = M''(0) - M'(0)^2
二項分布の平均・分散を求める
離散的確率分布の場合も同様に
P_b(X) = {}_nC_x p^x q^{n-x}
M(θ) = E[e^{θX}] = \sum_{x=0}^{n} e^{θx} {}_nC_x p^x q^{n-x}
M(θ) = \sum_{x=0}^{n} {}_nC_x (pe^θ)^x q^{n-x}
ここでpe^θをa、qをbとおく
M(θ) = \sum_{x=0}^{n} {}_nC_x (a)^x b^{n-x}
二項定理を用いると
\sum_{x=0}^{n} {}_nC_x (a)^x b^{n-x} = (a + b)^n
M(θ) = (pe^θ + q) ^ n
これで二項分布のモーメント母関数が求まりました！
M'(θ) = n(pe^θ+q)^{n-1}(pe^θ+q)'=np[(pe^θ+q)^{n-1}e^θ]
積の微分公式を使う
M''(θ) = np[(e^θ)'(pe^θ+q)^{n-1}+e^θ ((pe^θ+q)^{n-1})']
M''(θ) = np[e^θ(pe^θ+q)^{n-1}+e^θ(n-1)(pe^θ+q)^{n-2}pe^θ]
M''(θ) = np[e^θ(pe^θ+q)^{n-1}+pe^{2θ}(n-1)(pe^θ+q)^{n-2}]
p+q=1より
M'(0) =np(p+q)^{n-1}=np
平均はnp
M''(0) = np[(p+q)^{n-1}+p(n-1)(p+q)^{n-2}]
p+1=1より
M''(0) = np[1+p(n-1)] = np + (n-1)np^2
分散は
\sigma^2 = M''(0) - (M'(0)^2) = np + (n-1)np^2 - (np)^2
\sigma^2 = np - np^2 = np(1-p) = npq
正規分布の平均・分散を求める
正規分布は以下の式で表せる
N(\sigma, \mu) = \frac{1}{\sqrt{2π}\sigma}exp\Big(-\frac{(x-\mu)^2}{2\sigma^2}\Big)
まず、正規分布のモーメント母関数を求める
M(θ) = E[e^{θX}] = \int_{-∞}^∞ \frac{1}{\sqrt{2π}\sigma}exp\Big(-\frac{(x-\mu)^2}{2\sigma^2}+θx\Big)dx
exp指数部に注目して変形をする
指数部 = -\frac{(x^2-2\mu x+\mu^2)-2\sigma^2θx}{2\sigma^2}
指数部 = -\frac{(x^2-2(\mu +\sigma^2θ)x+\mu^2)}{2\sigma^2}
ここで二乗で括りたいので、以下の公式を使う
(x - a)^2 = x^2 -2ax + a^2
ここで示すaはu+σ^2θであり-a^2をし調整する
指数部 = -\frac{(x^2-2(\mu +\sigma^2θ)x+(\mu+\sigma^2θ)^2)-(\mu+\sigma^2θ)^2+\mu^2}{2\sigma^2}
指数部 = -\frac{(x-(\mu +\sigma^2θ))^2-(\mu+\sigma^2θ)^2+\mu^2}{2\sigma^2}
指数部 = -\frac{(x-(\mu +\sigma^2θ))^2-(\mu^2+2\mu\sigma^2θ+\sigma^4θ^2)+\mu^2}{2\sigma^2}
指数部 = -\frac{(x-(\mu +\sigma^2θ))^2-(2\mu\sigma^2θ+\sigma^4θ^2)}{2\sigma^2}
指数部 = -\frac{(x-(\mu +\sigma^2θ))^2}{2\sigma^2} + \muθ + \frac{\sigma^2θ^2}{2}
よって以下のように変形できる
M(θ) = E[e^{θX}] = \frac{1}{\sqrt{2π}\sigma}\int_{-∞}^∞ exp\Big(-\frac{(x-(\mu+\sigma^2θ)^2)}{2\sigma^2}\Big)exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)dx
exp(uθ+σ^2θ^2/2)部分は定数なので、定数部分を無視した積分を行う
\int_{-∞}^∞ exp\Big(-\frac{(x-(\mu+\sigma^2θ)^2)}{2\sigma^2}\Big)dx
zを下のように置くと
z = \frac{x-(\mu+\sigma^2θ)}{\sigma}
x = \sigma z + (\mu + \sigma^2 θ)
\int_{-∞}^∞ exp\Big(-\frac{z^2}{2}\Big)\frac{dx}{dz}dz
\sigma\int_{-∞}^∞ exp\Big(-\frac{z^2}{2}\Big)dz = \sqrt{2π}\sigma
正規分布のモーメント母関数が求まりました！
M(θ) = exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)
M(θ)' = (\mu+\sigma^2θ)exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)
平均はu
M(0)' = u
積の微分公式より
M(θ)'' = (\mu+\sigma^2θ)'exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)+(\mu+\sigma^2θ)exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)'
M(θ)'' = \sigma^2exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)+(\mu+\sigma^2θ)^2exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)
M(0)'' = \sigma^2+\mu^2
分散は
M''(0) - (M'(0)^2) = \sigma^2 + \mu^2 - \mu^2 = \sigma^2
ふー疲れたー