１．モーメント母関数（積率母関数）
定義
・確率空間$(\Omega,F,P)上$の確率変数$X$と実数$t$に対し、$e^{tX}$の期待値$E(e^{tX})$を$X$のモーメント母関数といい、$M_{X}(t)=E(e^{tX})$と表わします。
準備（積分論での結果など）
・確率変数$X$と実数$t$に対して、$e^{tX}$も確率変数となり、よってその期待値$E(e^{tX})$も定義できます。
・$E(|X|)<\infty$のとき、$X$は可積分であるといいます。つまり期待値は有限の値になるということです。
・[ルベーグ収束定理]
確率変数の列$X_{1},X_{2},・・・$が$lim_{n→\infty}X_{n}=X$、任意の$n$で$|X_{n}|≦Y$となる可積分関数が存在するとき、下記のように積分（期待値）と$lim$の順序交換ができる。$$lim_{n→\infty} E(X_{n})=E(lim_{n→\infty}X_n)$$
・[期待値と微分の順序交換]
$f(x,t)$は$x$で可積分、ある区間$t\in(a,b)$で微分可能かつ$|\frac{\partial}{\partial t} f(x,t)|≦g(x)$となる可積分関数$g(x)$が存在するとき、$t\in(a,b)$で下記が成立する。
$$\frac{ \mathrm{d} }{ \mathrm{d}t }E(f(X,t))=E(\frac{\partial}{\partial t} f(X,t))$$
※これは微分の定義と中間値の定理、上記のルベーグ収束定理を使って簡単に導くことができます。
※左辺が$\frac{ \mathrm{d} }{ \mathrm{d}t }$なのは、$f(X,t)$で期待値をとった後なので、$t$についてのみの関数になるからです。
定理１
・$M_{X}(t)=E(e^{tX})$が$t\in(a,b)$で可積分とすると$Xe^{tX}$も可積分で
$$\frac{ \mathrm{d} }{ \mathrm{d}t }M_{X}(t)=E(Xe^{tX})$$
-証明-
$f(X,t)=e^{tX}$が[期待値と微分の順序交換]が可能であることの仮定を満たすことを示します。
$t$を$(a,b)$内にとると、定理の仮定より$e^{tX}$は$X$で可積分になり、指数関数は微分可能で$Xe^{tX}$である。さらに、正の数$\varepsilon$に対して$|X|=\frac{1}{\varepsilon}\varepsilon |X|$でテイラー展開の形をつくって
$$|X|≦\frac{1}{\varepsilon}(1+\varepsilon |X|＋・・・)=\frac{1}{\varepsilon}e^{\varepsilon |X|}=\frac{1}{\varepsilon}(e^{-\varepsilon X}+e^{\varepsilon X})$$
よって$Xe^{tX}$に対しては
$$|Xe^{tX}|=|X|e^{tX}≦\frac{1}{\varepsilon}(e^{-\varepsilon X}+e^{\varepsilon X})e^{tX}=\frac{1}{\varepsilon}(M_{X}(t-\varepsilon)+M_{X}(t+\varepsilon))$$
ここで$\varepsilon$を$t-\varepsilon$と$t+\varepsilon$が$(a,b)$に入るように小さくとれば、仮定より$M_{X}(t)$が可積分なので、右辺が可積分となります。よって$|Xe^{tX}|$について期待値と微分で順序交換可能であるので結論がいえます。
-証明終わり-
定理２
・$M_{X}(t)=E(e^{tX})$が$t\in(a,b)$で可積分とすると、任意の$n$で
$$\frac{ \mathrm{d^n} }{ \mathrm{d}t^n }M_{X}(t)=E(X^{n}e^{tX})$$
-証明-
数学的帰納法により証明します。$n=1$のときは定理１です。$n$で成立したとするときに$n+1$では
$$|X^{n+1}e^{tX}|=|X||X^{n}|e^{tX}≦\frac{1}{\varepsilon}(e^{-\varepsilon X}+e^{\varepsilon X})e^{tX}|X^n|=\frac{1}{\varepsilon}(e^{(t-\varepsilon)X}|X^n|+e^{(t+\varepsilon)X}|X^n|))$$
$n$のときの仮定により、$\varepsilon$を小さくとれば右辺を可積分になるようにできます。
よって、$n+1$のときも成立します。
-証明終わり-
系１
任意の$n$で$E(|X^n|)<\infty$のとき、定理２で$t=0$とすると下記が成立します。
$$\frac{ \mathrm{d^n} }{ \mathrm{d}t^n }M_{X}(t)|_{t=0}=E(X^{n})$$
これにより$n$次のモーメントがモーメント母関数から算出できることがわかります。
２．デルタ法
デルタ法とは、確率変数$X$を変換したときに、変換後の平均と分散のおおよその値を求めるための考え方です。
仮定
・確率変数$X$は平均$\mu$、分散$\sigma^2$になるとする。
・関数$f$を微分可能な関数とする。
結果
・$f(X)$は近似的に平均$f(\mu)$、分散$f^{'2}(\mu)\sigma^2$となる。
-証明-
$f(X)$を$\mu$のまわりでテイラー展開すると、
$$f(X)=f(\mu)+f^{'}(\mu)(X-\mu)+\frac{f^{''}(\mu)}{2!}(X-\mu)^2+・・・$$
となりますが、右辺を１次の項までで考えます。
$$f(X)≒f(\mu)+f^{'}(\mu)(X-\mu)・・・①$$
ここで両辺に期待値をとると
$$E(f(X))≒E(f(\mu))+f^{'}(\mu)E((X-\mu))$$
ここで右辺の第１項は定数で第２項は$0$になるので、結局$E(f(X))≒f(\mu)$となります。
分散の方は、上記①で期待値でなく分散をとると、定数倍の分散は２乗になることから
$$V(f(X))≒V(f(\mu))+f^{'2}(\mu)V((X-\mu))$$
になって、右辺の第１項は定数の分散なので$0$、第２項は$f^{'2}(\mu)V(X)$なので、$V(f(X))≒f^{'2}(\mu)\sigma^2$が導かれます。
-証明終わり-
あくまで「＝」ではなく「≒」なので誤差が出ることを前提に考えます。