あまり数学によらず、なんとなく（自分が）納得できるような中心極限定理の説明をしてみたいと思います。
そもそも中心極限定理とは、、、
有限の期待値と分散を持つ、互いに独立で同一な分布に従う確率$X_1,X_2,\cdots,X_n$があるとします。この相加平均
$$\bar{X}=\frac{1}{n}\sum_{j=1}^{n}X_j$$
の分布は、$n$が十分大きなところで正規分布に近づくことを主張するものです。つよつよですね。
準備
説明に入る前にいくつか準備することがあるので、そちらを先に行いたいと思います。
まず考える系について整理します。
互いに独立で同一な分布に従う確率変数$X_1,X_2,\cdots,X_n$があり、それぞれの期待値と分散は$\mu\ ,\ \sigma^2$であるとします。また、
$$\bar{X}=(X_1+X_2+\cdots+X_n)/n$$
として$\bar{X}$の期待値、分散を$\bar{\mu}\ ,\ \bar{\sigma}^2$とします。
期待値
$\bar{X}$の期待値を求めます。
\begin{align}
\bar{\mu}=E[\bar{X}]=E[(X_1+X_2+\cdots+X_n)/n]=\frac{1}{n}\bigl(E[X_1]+E[X_2]+\cdots+E[X_n]\bigr)=\mu
\end{align}
です。
分散
$\bar{X}$の分散を求めます。
\begin{align}
\bar{\sigma}^2&=V[\bar{X}]=E[\bar{X}^2]-E[\bar{X}]^2\\
&=E[\frac{1}{n^2}\sum_{m=0}^n\sum_{l=0}^nX_mX_l]-\bar{\mu}^2\\
&=\frac{1}{n^2}\Bigl[\sum_{m=0}^nE[X_m^2]+\sum_{m=0}^n\sum_{l(\neq m)=0}^nE[X_mX_l]\Bigr]-\mu^2
\end{align}
ここで$\sum_{m=0}^n\sum_{l(\neq m)=0}^n$は$\sum_{m=0}^n\sum_{l=0}^n$のうち、$m=l$となるものを抜いたものの足し合わせという意味で用いています。$X_1,X_2,\cdots,X_n$は互いに独立であり同じ分布に従うため
\begin{align}
\bar{\sigma}^2&=\frac{1}{n^2}\Bigl[\sum_{m=0}^nE[X_m^2]+\sum_{m=0}^n\sum_{l(\neq m)=0}^nE[X_mX_l]\Bigr]-\mu^2\\
&=\frac{1}{n^2}\Bigl[\sum_{m=0}^nE[X_1^2]+\sum_{m=0}^n\sum_{l(\neq m)=0}^nE[X_1]E[X_1]\Bigr]-\mu^2\\
&=\frac{1}{n^2}\Bigl[nE[X_1^2]+(n^2-n)\mu^2\Bigr]-\mu^2\\
&=\frac{1}{n}\bigl[E[X_1^2]-\mu^2\bigr]=\frac{1}{n}V[X_1]=\frac{1}{n}\sigma^2
\end{align}
です。
正規分布の特性関数
期待値$\mu$、分散$\sigma^2$の正規分布の特性関数$\Phi(t)$は、
\begin{align}
\Phi(t)&=\int^{+\infty}_{-\infty} dxf(x)e^{itx}=\int^{+\infty}_{-\infty} dx\frac{1}{\sqrt{2\pi}\sigma}\exp\bigr[-\frac{(x-\mu)^2}{2\sigma^2}+itx\bigr]\\
&=\frac{1}{\sqrt{2\pi}\sigma}\int^{+\infty}_{-\infty} dx\exp\bigr[-\frac{(x-\mu+i\sigma^2t)^2}{2\sigma^2}+it\mu-\frac{t^2}{2}\sigma^2\bigr]\\
&=\frac{1}{\sqrt{2\pi}\sigma}\exp\bigr[it\mu-\frac{t^2}{2}\sigma^2\bigr]\int^{+\infty}_{-\infty} dx\exp\bigr[-\frac{(x-\mu+i\sigma^2t)^2}{2\sigma^2}\bigr]\\
&=\frac{1}{\sqrt{2\pi}\sigma}\exp\bigr[it\mu-\frac{t^2}{2}\sigma^2\bigr]\int^{+\infty}_{-\infty} dx\exp\bigr[-\frac{x^2}{2\sigma^2}\bigr]\\
&=\frac{1}{\sqrt{2\pi}\sigma}\exp\bigr[it\mu-\frac{t^2}{2}\sigma^2\bigr]\sqrt{2}\sigma\int^{+\infty}_{-\infty} dxe^{-x^2}\\
&=\frac{1}{\sqrt{2\pi}\sigma}\exp\bigr[it\mu-\frac{t^2}{2}\sigma^2\bigr]\sqrt{2}\sigma\sqrt{\pi}\\
&=\exp\bigr[it\mu-\frac{t^2}{2}\sigma^2\bigr]
\end{align}
です。
説明
互いに独立で同一な分布に従う確率変数$X_1,X_2,\cdots,X_n$があり、それぞれの期待値と分散は$\mu\ ,\ \sigma^2$であるとします。
$\bar{X}$の特性関数は、$X_1,X_2,\cdots,X_n$が互いに独立なため
$$\Phi_{\bar{X}}(t)=E[e^{it\bar{X}}]=E[e^{itX_1/n}]E[e^{itX_2/n}]\cdots E[e^{itX_n/n}]$$
です。また、同一な分布に従うため
$$\Phi_{\bar{X}}(t)=\bigl(E[e^{itX_1/n}]\bigr)^n=\bigl(\Phi_{X_1}(t/n)\bigr)^n$$
となります。計算の簡略化のために特性関数の対数を取ったものを$H_{\bar{X}}(t)$と表します。$H_{\bar{X}}(t)$は
$$H_{\bar{X}}(t)=n\log\Phi_{X_1}(t/n)$$
です。これを$it/n=0$まわり$it/n$で展開すれば、
\begin{align}
&H_{\bar{X}}(t)=n\sum_{m=0}^\infty\kappa_m\frac{(it/n)^m}{m!}\\
&\kappa_m=\frac{\partial^m}{\partial(it/n)^m}\log\Phi_{X_1}(t/n)\bigr|_{t=0}
\end{align}
です。ここで
\begin{align}
&\kappa_0=\log\Phi_{X_1}(t/n)\bigr|_{t=0}=\log E[e^{itX_1/n}]\bigr|_{t=0}=\log 1=0\\
&\kappa_1=\frac{\partial}{\partial(it/n)}\log\Phi_{X_1}(t/n)\bigr|_{t=0}=\frac{1}{\Phi_{X_1}(t/n)}\frac{\partial\Phi_{X_1}(t/n)}{\partial(it/n)}\Bigr|_{t=0}=1\cdot E[X_1]=\mu\\
&\kappa_2=\frac{\partial^2}{\partial(it/n)^2}\log\Phi_{X_1}(t/n)\bigr|_{t=0}\\
&\quad=\biggr[-\frac{1}{\Phi_{X_1}(t/n)^2}\Bigr(\frac{\partial \Phi_{X_1}(t/n)}{\partial(it/n)}\Bigr)^2+\frac{1}{\Phi_{X_1}(t/n)}\frac{\partial^2\Phi_{X_1}(t/n)}{\partial(it/n)^2}\biggr]\biggr|_{t=0}\\
&\quad=-E[X_1]^2+E[X_1^2]=\sigma^2
\end{align}
です。これを代入して
\begin{align}
H_{\bar{X}}(t)&=n\bigr[0+\mu(it/n)+\sigma^2\frac{(it/n)}{2!}+\mathcal O(n^{-3})\bigr]\\
&=it\bar{\mu}-\frac{t^2}{2}\bar{\sigma}^2+\mathcal O(n^{-2})
\end{align}
となります。特性関数は$H_{\bar{X}}(t)$を用いて
$$\Phi_{\bar{X}}(t)=\exp[H_{\bar{X}}(t)]$$
と表せることから
$$\Phi_{\bar{X}}(t)=\exp[it\bar{\mu}-\frac{t^2}{2}\bar{\sigma}^2+\mathcal O(n^{-2})]$$
です。従って$n$が十分大きなところでは
$$\Phi_{\bar{X}}(t)\simeq\exp[it\bar{\mu}-\frac{t^2}{2}\bar{\sigma}^2]$$
であることがわかります。この右辺は期待値$\mu$と分散$\bar{\sigma}^2$を持つ正規分布の特性関数と一致するため、$n$が十分大きいところでは$\bar{X}$の分布は正規分布に近似することができます。
以上です。