方針
二項分布
二項分布について書く．二項分布はベルヌーイ試行をn回行った時の成功回数に関する確率分布である．確率密度関数は，
\begin{align}
f_X(x)={}_nC_xp^x(1-p)^{n-x},\ x=0,...,n
\end{align}
積率母関数は，3.2で証明した二項定理を用いて
\begin{align}
M_X(t)&= \mathbb{E}_{X\sim Bin(n,p)}[e^{tX}]\\
&= \sum_{x=0}^n{}_nC_x(pe^t)^x(1-p)^{n-x}\\
&= (pe^t+1-p)^n
\end{align}
期待値は，
\begin{align}
\mathbb{E}_{X\sim Bin(n,p)}[X]&= \sum_{x=0}^nx\times{}_nC_xp^x(1-p)^{n-x}\\
&= \sum_{x=1}^n\frac{n!}{(n-x)!(x-1)!}p^x(1-p)^{n-x}\\
&= np\sum_{x=1}^n\frac{(n-1)!}{(n-x)!(x-1)!}p^{x-1}(1-p)^{n-x}\\
&= np\sum_{x'=0}^{n-1}\frac{(n-1)!}{(n-1-x')!x'!}p^{x'}(1-p)^{n-1-x'}\\
& \ \ \ \ (x'=x-1)\\
&= np
\end{align}
分散は，
\begin{align}
\mathbb{E}_{X\sim Bin(n,p)}[X^2]&= \sum_{x=0}^nx^2\times{}_nC_xp^x(1-p)^{n-x}\\
&= \sum_{x=1}^nx\times\frac{n!}{(n-x)!(x-1)!}p^x(1-p)^{n-x}\\
&= np\sum_{x=1}^nx\times\frac{(n-1)!}{(n-x)!(x-1)!}p^{x-1}(1-p)^{n-x}\\
&= np\sum_{x'=0}^{n-1}(x'+1)\times\frac{(n-1)!}{(n-1-x')!x'!}p^{x'}(1-p)^{n-1-x'}\\
& \ \ \ \ (x'=x-1)\\
&= np\{(n-1)p+1\}\\
Var(X)&= np(np-p+1)-n^2p^2\\
&= np(1-p)
\end{align}
正規分布
次に，正規分布について書く．正規分布の確率密度関数は，
f_X(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{(x-\mu)^2}{2\sigma^2}\}
平均0，分散1の正規分布を標準正規分布と呼ぶ．標準正規分布の全確率1を証明する．
I=\int_{-\infty}^\infty \exp(-\frac{x^2}{2})dx
と置くと，
I^2=\int_{-\infty}^\infty dx\int_{-\infty}^\infty dy\exp(-\frac{X^2+y^2}{2})\tag{1}
である．ここで，
\begin{align}
\begin{cases}
x=r\cos\theta\\
y=r\sin\theta
\end{cases}
\end{align}
と置換すると，
\frac{\partial(x,y)}{\partial (r,\theta)}=\det\begin{pmatrix}
\cos\theta & -r\sin\theta\\
\sin\theta & r\cos\theta\end{pmatrix}=r
より，
\begin{align}
(1)&= \int_0^{2\pi}d\theta \int_0^\infty dr\exp(-\frac{r^2}{2})r\\
&= \int_0^{2\pi}\left[-\exp(-\frac{r^2}{2})\right]_0^\infty d\theta\\
&= 2\pi
\end{align}
なので，
I=\sqrt{2\pi}
となり，全確率1が証明された．一般の正規分布に対しても
z=\frac{x-\mu}{\sigma}
と置換することで，
\int_{-\infty}^\infty \frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{(x-\mu)^2}{2\sigma^2}\}dx=\int_{-\infty}^\infty\frac{1}{\sqrt{2\pi}}\exp(-\frac{z^2}{2})dz=1
が成り立つ．積率母関数は，
\begin{align}
M_X(t)&= \int_{-\infty}^\infty\frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{(x-\mu)^2}{2\sigma^2}+tx\}dx\\
&= \int_{-\infty}^\infty\frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{x^2-2(\mu+t\sigma^2)x}{2\sigma^2}-\frac{\mu^2}{2\sigma^2}\}dx\\
&= \int_{-\infty}^\infty\frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{(x-\mu-t\sigma^2)^2}{2\sigma^2}+\frac{\mu+t\sigma^2}-\frac{\mu^2}{2\sigma^2}\}dx\\
&= \int_{-\infty}^\infty\frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{(x-\mu-t\sigma^2)^2}{2\sigma^2}+\mu t+\frac{t^2\sigma^2}{2}\}dx\\
&= \exp(\mu t+\frac{t\sigma^2}{2})\int_{-\infty}^\infty\frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{(x-\mu-t\sigma^2)^2}{2\sigma^2}\}dx\\
&= \exp(\mu t+\frac{t^2\sigma^2}{2})
\end{align}
問題は，変数変換したYの積率母関数を求め，n→∞として標準正規分布の積率母関数に収束することを示せば良い．
答案
Yの積率母関数を求める．
\begin{align}
M_Y(t)&= \mathbb{E}_{X\sim Bin(np)}[e^{tY}]\\
&= \mathbb{E}_{X\sim Bin(np)}[e^{t(X-np)/\sqrt{np(1-p)}}]\\
&= \exp(-\frac{tnp}{\sqrt{np(1-p)}})\mathbb{E}_{X\sim Bin(n,p)}[e^{\frac{t}{\sqrt{np(1-p)}}X}]\\
&= \exp(-\frac{tnp}{\sqrt{np(1-p)}})\sum_{x=0}^n{}_nC_x(e^{\frac{t}{\sqrt{np(1-p)}}\times p})^x(1-p)^{n-x}\\
&= \exp(-\frac{tnp}{\sqrt{np(1-p)}})(e^{\frac{t}{\sqrt{np(1-p)}}}\times p+1-p)^n
\end{align}
標準正規分布に従う確率変数をZと置くと，
\begin{align}
M_Z(t)&= \mathbb{E}_{Z\sim\mathcal{N}(0,1)}[e^{tZ}]\\
&= \int_{-\infty}^\infty\frac{1}{\sqrt{2\pi}}\exp(-\frac{z^2-tz}{2})dz\\
&= \int_{-\infty}^\infty\frac{1}{\sqrt{2\pi}}\exp\{-\frac{(z-\frac{t}{2})^2}{2}+\frac{t^2}{2})dz\\
&= \exp(\frac{t^2}{2})\int_{-\infty}^\infty\frac{1}{\sqrt{2\pi}}\exp\{-\frac{(z-\frac{t}{2})^2}{2}\}dz\\
&= \exp(\frac{t^2}{2})
\end{align}
今，
\psi(t)=\log M_Y(t)
とおけば，n→∞で
\psi(t)\rightarrow\frac{t^2}{2}
であることを示せば良い．
\begin{align}
\psi(t)&= -\frac{tnp}{\sqrt{np(1-p)}}+n\log (e^{\frac{t}{\sqrt{np(1-p)}}}\times p+1-p)\\
&\approx -\frac{tnp}{\sqrt{np(1-p)}}+n\log\{p(1+\frac{t}{\sqrt{np(1-p)}}+\frac{t^2}{2np(1-p)}+o(\frac{1}{n}) +1-p\}\\
& \ \ \ \ \ \ as\ \ \ n\rightarrow\infty\\
&= -\frac{tnp}{\sqrt{np(1-p)}}+n\log\{1+(\frac{tp}{\sqrt{np(1-p)}}+\frac{t^2}{2n(1p)}+o(\frac{1}{n})) \}\tag{1}
\end{align}
(1)式第二項の対数部分をlog(1+A)と置くと，漸近展開によって
\begin{align}
n\log(1+A)&= n(A-\frac{A^2}{2}+\mathcal{o}(A^2))\ \ \ as\ \ \ A\rightarrow0\\
&= n(\frac{tp}{\sqrt{np(1-p)}}+\frac{t^2}{2n(1-p)}+\mathcal{o}(\frac{1}{n})-\frac{A^2}{2}+\mathcal{o}(A^2))\\
&= \frac{tnp}{\sqrt{np(1-p)}}+\frac{t^2}{2(1-p)}-\frac{nA^2}{2}+\mathcal{o}(1)\tag{2}\\
\frac{nA^2}{2}&= n(\frac{tp}{\sqrt{np(1-p)}}+\frac{t^2}{2n(1-p)}+\mathcal{o}(\frac{1}{n}))^2/2\\
&= (\frac{t^2p^2}{p(1-p)}+\frac{pt^3}{\sqrt{np(1-p)}(1-p)}+\frac{t^4}{4n(1-p)^2})/2+\mathcal{o}(1)\\
&\approx \frac{t^2p}{2(1-p)}\ \ \ as\ \ \ n\rightarrow\infty\\
\therefore (2)&\approx \frac{tnp}{\sqrt{np(1-p)}}+\frac{t^2}{2(1-p)}-\frac{t^2p}{2(1-p)}
\end{align}
以上を(1)に代入して
\psi(t)\approx\frac{t^2}{2(1-p)}-\frac{t^2p}{2(1-p)}=\frac{t^2}{2}
参考文献
- 『現代数理統計学の基礎』(久保川達也 著)