詳細は各専門書や別ページを参照。
1.確率密度関数 (Probability Density Function: PDF)
正規分布 $N(\mu, \sigma^2)$ のPDFは
$$
f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right)
$$
2.モーメント母関数 (Moment Generating Function: MGF)
[性質]
正規分布 $X \sim N(\mu, \sigma^2)$ のMGF $M_X(t)$ は
$$M_X(t) = E[e^{tX}] = \exp\left(\mu t + \frac{1}{2}\sigma^2 t^2\right)$$
[説明]
$$M_X(t) = E[e^{tX}]$$
$$= \int_{-\infty}^{\infty} \exp(tx) f(x)$$
$$= \int_{-\infty}^{\infty} \exp(tx) \cdot \frac{1}{\sqrt{2\pi\sigma^2}} \exp(-\frac{(x - \mu)^2}{2\sigma^2}) dx
$$
$$= \int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^2}} \exp(tx -\frac{(x - \mu)^2}{2\sigma^2}) dx
$$
ガウス積分の形に近づけるために、eの中身を平方完成をする。
$$\exp(tx -\frac{(x - \mu)^2}{2\sigma^2}) =
$$
$$= \exp(tx -\frac{x^2 - 2\mu x + \mu^2}{2\sigma^2})
$$
$$= \exp(-\frac{1}{2\sigma^2} ((x^2 - 2\mu x + \mu^2) - 2t\sigma^2x))
$$
$$= \exp(-\frac{1}{2\sigma^2} (x^2 - 2(\mu + t\sigma^2)x + \mu^2)
$$
$$= \exp(-\frac{1}{2\sigma^2} ((x - (\mu + t\sigma^2))^2 + \mu^2 - (\mu + t\sigma^2)^2))
$$
$$= \exp(-\frac{1}{2\sigma^2} ((x - (\mu + t\sigma^2))^2 - (2\mu t \sigma^2 + t^2\sigma^4)))
$$
$$= \exp(-\frac{1}{2\sigma^2} ((x - (\mu + t\sigma^2))^2) \cdot \exp( \mu t) \cdot \exp(\frac{1}{2}t^2\sigma^2)
$$
よってMGFは
$$M_X(t) = \int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^2}} \exp(-\frac{1}{2\sigma^2} ((x - (\mu + t\sigma^2))^2) \cdot \exp( \mu t) \cdot \exp(\frac{1}{2}t^2\sigma^2) dx$$
$$= \frac{1}{\sqrt{2\pi\sigma^2}} \cdot \exp( \mu t) \cdot \exp(\frac{1}{2}t^2\sigma^2) \int_{-\infty}^{\infty} \exp(-\frac{1}{2\sigma^2} ((x - (\mu + t\sigma^2))^2) dx$$
ここで$ Y = X - (\mu + t\sigma^2)$、$Z = \frac{1}{\sqrt{2\sigma^2}}Y$とすると
$$\frac{1}{\sqrt{2\pi\sigma^2}} \cdot \exp( \mu t) \cdot \exp(\frac{1}{2}t^2\sigma^2) \int_{-\infty}^{\infty} \exp(-\frac{1}{2\sigma^2} ((x - (\mu + t\sigma^2))^2) dx$$
$$= \frac{1}{\sqrt{2\pi\sigma^2}} \cdot \exp( \mu t) \cdot \exp(\frac{1}{2}t^2\sigma^2) \int_{-\infty}^{\infty} \exp(-z^2) \cdot \sqrt{2\sigma^2} dz$$
$$= \frac{1}{\sqrt{2\pi\sigma^2}} \cdot \exp( \mu t) \cdot \exp(\frac{1}{2}t^2\sigma^2) \cdot \sqrt{2\sigma^2} \int_{-\infty}^{\infty} \exp(-z^2) dz$$
$$= \exp( \mu t + \frac{1}{2}\sigma^2 t^2)
$$
（ガウス積分より $\int_{-\infty}^{\infty} \exp(-z^2) dz$ は $\sqrt{\pi}$）
[メモ]
期待値とMGFの定義を抑える。
正規分布はガウス積分と仲がいい。
平方完成すると指数の部分をガウス積分と同じ形にできる。
3.線形変換 (Linear transformation)
[性質]
確率変数 $X$ が正規分布 $N(\mu, \sigma^2)$ に従うとする。線形変換 $Y = aX + b$は以下に従う。
$$aX + b \sim N(a\mu + b, a^2\sigma^2)$$
[説明]
確率変数 $X$ が正規分布 $N(\mu, \sigma^2)$ に従うとすると、MGFは
$M_X(t) = \exp\left(\mu t + \frac{1}{2}\sigma^2 t^2\right)$
$a$ と $b$ を定数（$a \ne 0$）として、線形変換 $Y = aX + b$ より
$$M_Y(t) = E[e^{tY}] = E[e^{t(aX + b)}] = E[e^{atX + bt}] = E[e^{atX} e^{bt}]$$
期待値の線形性より、$e^{bt}$ は定数として期待値の外に出す。
$$M_Y(t) = e^{bt} E[e^{atX}]$$
$$= e^{bt} M_X(at)$$
ここで、
$$M_X(at) = \exp\left(\mu (at) + \frac{1}{2}\sigma^2 (at)^2\right) = \exp\left(a\mu t + \frac{1}{2}\sigma^2 a^2 t^2\right)$$
よって、
$$M_Y(t) = e^{bt} \exp\left(a\mu t + \frac{1}{2}a^2\sigma^2 t^2\right)$$
$$= \exp\left(bt + a\mu t + \frac{1}{2}a^2\sigma^2 t^2\right)$$
$$= \exp\left((a\mu + b)t + \frac{1}{2}(a^2\sigma^2) t^2\right)$$
元のMGFと比較するとMGFの一意性より
平均はMGFの $t$ の係数から $(a\mu + b)$、分散は $t^2/2$ の係数から $(a^2\sigma^2)$ となる。
$$\therefore aX + b \sim N(a\mu + b, a^2\sigma^2)$$
4.再生性 (Reproductivity)
[性質]
互いに独立な確率変数 $X_1, \dots, X_n$ がそれぞれ正規分布 $N(\mu_i, \sigma_i^2)$ に従うとする（$X_i \sim N(\mu_i, \sigma_i^2)$）。
この時、これらの和は
$$\sum_{i=1}^n X_i \sim N\left(\sum_{i=1}^n \mu_i, \sum_{i=1}^n \sigma_i^2\right)$$
[説明]
それぞれのMGFは
$M_{X_i}(t) = \exp\left(\mu_i t + \frac{1}{2}\sigma_i^2 t^2\right)$
$S_n$ のMGF $M_{S_n}(t)$ は
$$M_{S_n}(t) = E[e^{tS_n}] = E[e^{t(X_1 + X_2 + \dots + X_n)}] = E[e^{tX_1} e^{tX_2} \dots e^{tX_n}]$$
確率変数 $X_1, \dots, X_n$ は互いに独立であるため、積の期待値は期待値の積になる。
$$E[e^{tX_1} e^{tX_2} \dots e^{tX_n}] = E[e^{tX_1}] E[e^{tX_2}] \dots E[e^{tX_n}]$$
これはそれぞれの確率変数のMGFの積になっているため、
$$M_{S_n}(t) = M_{X_1}(t) M_{X_2}(t) \dots M_{X_n}(t)$$
$$= \exp\left(\mu_1 t + \frac{1}{2}\sigma_1^2 t^2\right) \times \exp\left(\mu_2 t + \frac{1}{2}\sigma_2^2 t^2\right) \times \dots \times \exp\left(\mu_n t + \frac{1}{2}\sigma_n^2 t^2\right)$$
$$= \exp\left(\left(\mu_1 t + \frac{1}{2}\sigma_1^2 t^2\right) + \left(\mu_2 t + \frac{1}{2}\sigma_2^2 t^2\right) + \dots + \left(\mu_n t + \frac{1}{2}\sigma_n^2 t^2\right)\right)$$
$$= \exp\left((\mu_1 + \mu_2 + \dots + \mu_n)t + \frac{1}{2}(\sigma_1^2 + \sigma_2^2 + \dots + \sigma_n^2) t^2\right)$$
$$= \exp\left(\left(\sum_{i=1}^n \mu_i\right) t + \frac{1}{2}\left(\sum_{i=1}^n \sigma_i^2\right) t^2\right)$$
元のMGFと比較するとMGFの一意性より
平均は $t$ の係数から $\sum_{i=1}^n \mu_i$、分散は $t^2/2$ の係数から $\sum_{i=1}^n \sigma_i^2$ となる。
$$\therefore \sum_{i=1}^n X_i \sim N\left(\sum_{i=1}^n \mu_i, \sum_{i=1}^n \sigma_i^2\right)$$
5.最尤法 (Maximum Likelihood Method)
[性質]
$$\hat{\mu} = \frac{1}{n}\sum_{i=1}^n x_i = \bar{x}$$
$$\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat{\mu})^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\bar{x})^2$$
($\hat{\mu}$, $\hat{\sigma^2}$ は最尤推定量)
[説明]
尤度関数 (Likelihood Function) と 対数尤度関数 (Log-Likelihood Function)
データが独立であると仮定すると、
尤度関数
$$L(\theta | x_1, \dots, x_n) = \prod_{i=1}^n f(x_i | \theta)$$
対数尤度関数
$$\ell(\theta) = \log L(\theta)$$
$$= \log \left(\prod_{i=1}^n f(x_i | \theta)\right)$$
$$ = \sum_{i=1}^n \log f(x_i | \theta)$$
正規分布の最尤法
観測データ $x_1, \dots, x_n$ が独立に正規分布 $N(\mu, \sigma^2)$ に従うと仮定し、未知のパラメータ $\mu$ と $\sigma^2$ を最尤法で推定する。
正規分布のPDFは
$$f(x|\mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$$
尤度関数 $L(\mu, \sigma^2)$ は
$$L(\mu, \sigma^2) = \prod_{i=1}^n f(x_i|\mu, \sigma^2)$$
$$= \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i-\mu)^2}{2\sigma^2}\right)$$
$$= \left(\frac{1}{2\pi\sigma^2}\right)^{n/2} \exp\left(-\sum_{i=1}^n \frac{(x_i-\mu)^2}{2\sigma^2}\right)$$
対数尤度関数 $\ell(\mu, \sigma^2)$ は
$$\ell(\mu, \sigma^2) = \log L(\mu, \sigma^2) = -\frac{n}{2}\log(2\pi) - \frac{n}{2}\log(\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2$$
最尤推定量 $\hat{\mu}$ と $\hat{\sigma}^2$ を求めるために、$\mu$ と $\sigma^2$ に関してそれぞれ偏微分しゼロとおく。
$\mu$ に関する偏導関数:
$x_1$に注目して$\mu$を偏微分すると
$$\frac{\partial}{\partial \mu} \left(-\frac{1}{2\sigma^2} (x_1-\mu)^2\right)$$
$$= -\frac{1}{2\sigma^2} \cdot 2(x_1-\mu) \cdot (-1) $$
$$= \frac{1}{\sigma^2} \cdot (x_1-\mu)$$
となり、ほかの項も同様に偏微分できるため
$$\frac{\partial \ell}{\partial \mu} = \frac{\partial}{\partial \mu} \left(-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2\right) = -\frac{1}{2\sigma^2} \sum_{i=1}^n 2(x_i-\mu)(-1) = \frac{1}{\sigma^2} \sum_{i=1}^n (x_i-\mu)$$
$\frac{\partial \ell}{\partial \mu} = 0$ とおくと、
$$\sum_{i=1}^n (x_i-\mu) = 0$$
$$= \sum_{i=1}^n x_i - n\mu = 0 $$
$$= n\mu = \sum_{i=1}^n x_i $$
$$\therefore \hat{\mu} = \frac{1}{n}\sum_{i=1}^n x_i = \bar{x}$$
($\bar{x}$は標本平均)
$\sigma^2$ に関する偏導関数:
$$\frac{\partial \ell}{\partial \sigma^2} = \frac{\partial}{\partial \sigma^2} \left(-\frac{n}{2}\log(\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2\right)$$
$$= -\frac{n}{2} \frac{1}{\sigma^2} - \frac{1}{2} \left(-\frac{1}{(\sigma^2)^2}\right) \sum_{i=1}^n (x_i-\mu)^2 = -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4} \sum_{i=1}^n (x_i-\mu)^2$$
$\frac{\partial \ell}{\partial \sigma^2} = 0$ とおくと、
$$-\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4} \sum_{i=1}^n (x_i-\mu)^2 = 0$$
$$n\sigma^2 = \sum_{i=1}^n (x_i-\mu)^2$$
したがって、$\sigma^2$ の最尤推定量 $\hat{\sigma}^2$ は、$\mu$ のところにその最尤推定量 $\hat{\mu} = \bar{x}$ を代入して、
$$\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat{\mu})^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\bar{x})^2$$
これは、標本分散になっている。
[メモ]
最尤推定量 $\hat{\mu}$ は不偏推定量だが、 $\hat{\sigma}^2$ は不偏推定量ではない。