不偏分散をめっちゃ丁寧に求める
標本分散を計算するとき、単純に偏差平方和をデータの個数 $n$ で割ると、その期待値（平均的な値）は母集団の真の分散 $\sigma^2$ よりも少しだけ小さくなることが知られています。この「ズレ（バイアス）」を補正し、期待値が母分散 $\sigma^2$ と一致するようにしたものが不偏分散です。
結論から言うと、不偏分散 $u^2$ (または $\hat{\sigma}^2$) は、偏差平方和をデータの個数から1を引いた $n-1$ で割ることで求められます。
$$u^2 = \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2$$
なぜ $n$ ではなく $n-1$ で割るのか、その理由をこれから証明していきます。
この記事では、できる限り丁寧に、省略せずに、式変形を追っていきます！！
準備と定義
証明を始める前に、使用する記号を定義します。
- 母集団: 平均 $\mu$、分散 $\sigma^2$
-
無作為標本: $X_1, X_2, \dots, X_n$
- $E[X_i] = \mu$
- $V[X_i] = E[(X_i - \mu)^2] = \sigma^2$
-
標本平均: $\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$
- $E[\bar{X}] = \mu$
- $V[\bar{X}] = E[(\bar{X}-\mu)^2] = \frac{\sigma^2}{n}$
- 標本分散 (分母がn): $s^2 = \frac{1}{n}\sum_{i=1}^{n} (X_i - \bar{X})^2$
注意
$\sigma^2$と$s^2$の違い、定義についてしっかり確認しておきましょう！！
目標
標本分散 $s^2$ の期待値 $E[s^2]$ を計算し、それが $\sigma^2$ にならないことを示し、どうすれば $\sigma^2$ になるかを導くことです。
標本分散の期待値 E[s^2] の計算
$s^2$ の定義式を展開し、その期待値を求めます。
式変形
\begin{align*}
E[s^2] &= E\left[\frac{1}{n}\sum_{i=1}^{n} (X_i - \bar{X})^2\right] & & \text{（標本分散の定義）} \\
\\
&= \frac{1}{n} E\left[\sum_{i=1}^{n} (X_i - \bar{X})^2\right] & & \text{（理由①：期待値の線形性）}
\end{align*}
ここで、計算を簡単にするため、総和の中の $(X_i - \bar{X})^2$ を変形します。これは、真の母平均 $\mu$ を足して引く、というテクニックを使います。
\begin{align*}
(X_i - \bar{X})^2 &= \left( (X_i - \mu) - (\bar{X} - \mu) \right)^2 \\
&= (X_i - \mu)^2 - 2(X_i - \mu)(\bar{X} - \mu) + (\bar{X} - \mu)^2
\end{align*}
この式を総和 $\sum_{i=1}^{n}$ に代入します。
$$\sum_{i=1}^{n} (X_i - \bar{X})^2 = \sum_{i=1}^{n} (X_i - \mu)^2 - 2\sum_{i=1}^{n} (X_i - \mu)(\bar{X} - \mu) + \sum_{i=1}^{n} (\bar{X} - \mu)^2$$
右辺の第2項と第3項を整理します。
- 第3項: $(\bar{X}-\mu)^2$ は $i$ に無関係なので、$n$ 回足すことになり $n(\bar{X}-\mu)^2$ となります。
-
第2項: $(\bar{X}-\mu)$ は $i$ に無関係なので、$\sum$ の外に出せます。
$$-2(\bar{X} - \mu)\sum_{i=1}^{n} (X_i - \mu)$$
ここで $\sum (X_i - \mu) = (\sum X_i) - n\mu = n\bar{X} - n\mu = n(\bar{X} - \mu)$ となるので、第2項は全体で $-2(\bar{X} - \mu) \cdot n(\bar{X} - \mu) = -2n(\bar{X} - \mu)^2$ となります。
これらを合わせると、総和の部分は次のように整理できます。
$$\sum_{i=1}^{n} (X_i - \bar{X})^2 = \sum_{i=1}^{n} (X_i - \mu)^2 - n(\bar{X} - \mu)^2$$
この結果を、元の期待値の式に戻します。
\begin{align*}
E[s^2] &= \frac{1}{n} E\left[ \sum_{i=1}^{n} (X_i - \mu)^2 - n(\bar{X} - \mu)^2 \right] & & \text{（変形結果を代入）} \\
\\
&= \frac{1}{n} \left( E\left[\sum_{i=1}^{n} (X_i - \mu)^2\right] - nE\left[(\bar{X} - \mu)^2\right] \right) & & \text{（理由②：期待値の加法性）} \\
\\
&= \frac{1}{n} \left( \sum_{i=1}^{n} E[(X_i - \mu)^2] - nE[(\bar{X} - \mu)^2] \right) & & \text{（理由③：期待値の線形性）} \\
\\
&= \frac{1}{n} \left( \sum_{i=1}^{n} \sigma^2 - n \cdot \frac{\sigma^2}{n} \right) & & \text{（理由④：分散の定義を適用）} \\
\\
&= \frac{1}{n} (n\sigma^2 - \sigma^2) & & \text{（整理）} \\
\\
&= \frac{1}{n} (n-1)\sigma^2 = \frac{n-1}{n}\sigma^2 & & \text{（最終結果）}
\end{align*}
変形の理由
- 理由①, ②, ③: 期待値の持つ線形性 $E[aX+bY]=aE[X]+bE[Y]$ を繰り返し利用しています。
- 理由④: $E[(X_i - \mu)^2]$ は母分散 $\sigma^2$ の定義そのものです。また、$E[(\bar{X} - \mu)^2]$ は標本平均の分散 $V[\bar{X}]$ の定義であり、その値は $\frac{\sigma^2}{n}$ であることが知られています。
結果
この結果から、標本分散 $s^2$（$n$で割ったもの）の期待値は、真の分散 $\sigma^2$ ではなく、それに $\frac{n-1}{n}$ を掛けた値となり、少し小さく見積もってしまう（過小評価する） ことがわかります。
バイアスの補正と不偏分散の導出
上記の通り、$E[s^2] = \frac{n-1}{n}\sigma^2$ というズレ（バイアス）が確認できました。この等式を $\sigma^2$ について解くことで、バイアスを補正する方法がわかります。
$$\sigma^2 = \frac{n}{n-1} E[s^2]$$
期待値の線形性から、定数 $\frac{n}{n-1}$ は期待値の中に入れることができます。
$$\sigma^2 = E\left[ \frac{n}{n-1} s^2 \right]$$
つまり、期待値が $\sigma^2$ となる新しい推定量（これを不偏分散 $u^2$ とします）は、$s^2$ を $\frac{n}{n-1}$ 倍すれば良いことがわかります。
$$
\begin{align*}
u^2 &= \frac{n}{n-1} s^2 \
&= \frac{n}{n-1} \left( \frac{1}{n}\sum_{i=1}^{n} (X_i - \bar{X})^2 \right) \
&= \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2
\end{align*}
$$
これにより、分母が $n-1$ である不偏分散の公式が導かれました。
解釈
分母の $n-1$ は自由度 (degrees of freedom) と呼ばれます。これは、標本平均 $\bar{X}$ を計算した時点で、データのうち $n-1$ 個の値が決まれば、残りの1個の値は自動的に決まってしまうため、「自由に動けるデータの数は実質的に $n-1$ 個である」と解釈されます。