不偏分散の分散

はじめに

統計学において不偏分散は母分散の不偏推定量として重要ですが、平均が母分散に等しいことについては多くのウェブサイトで言及されているのに対して、分散の値に言及しているサイトは（日本語圏では）見当たりません。そこで本記事では、不偏分散の分散を、導出も含めて記録しておきます。

不偏分散の定義と平均

期待値$\mu$,分散$\sigma^2$の母集団から抽出された$n$個の標本$X_1,X_2,\dots, X_n$について、

S^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \overline{X})^2

を不偏分散といいます。ここで、$\overline{X}$は標本平均$\frac{X_1 + \cdots X_n}{n}$です。この量の平均は$\sigma^2$に等しいわけですが（この証明は至るところにあるので割愛します）、この性質は$S^2$を推定量として母分散を推定するにあたって、$S^2$が$\sigma^2$からズレていないと解釈されます。これは推定量としての望ましい性質の一つであり、平均が母数（この場合は母分散）に等しい推定量のことを不偏推定量といいます。$S^2$が不偏分散と呼ばれるのはこれが由来です。

不偏分散の分散：正規分布の場合

まず最初に、標本が独立に正規分布$\mathcal{N}(\mu,\sigma)$にしたがうという仮定のもとで分散を求めてみましょう。
といっても、この場合はとても簡単です。$\frac{(n-1)S^2}{\sigma^2}$が自由度$n-1$のカイ二乗分布にしたがうので（証明は、例えばここを参照）、自由度$n-1$のカイ二乗分布の分散が$2(n-1)$であることから、

V \left[\frac{(n-1)S^2}{\sigma^2}\right] = 2(n-1)

より

V [S^2] = 2(n-1) \cdot \left( \frac{\sigma^2}{n-1} \right)^2 = \frac{2\sigma^4}{n-1}

と求まります。

ちなみに

母分散のフィッシャー情報量$I(\sigma^2)$を求めてみましょう。1つの標本の対数尤度関数は

l(\sigma^2;x) = -\frac{1}{2}\log(2\pi) - \frac{1}{2}\log(\sigma^2) - \frac{(x - \mu)^2}{2\sigma^2}

微分して2乗すると、

\dot{l}(\sigma^2;x)^2 = \frac{(x-\mu)^4}{4\sigma^8} - \frac{(x-\mu)^2}{2\sigma^6} + \frac{1}{4\sigma^2}

平均値をとって$n$倍すればフィッシャー情報量が求まります。$E[(x-\mu)^4] = 3\sigma^4$を用いれば、

I(\sigma^2) = \frac{n}{2\sigma^4}

すなわち、$V[S^2] > I(\sigma^2)^{-1}$なので、$S^2$は母分散の有効推定量ではありません。

不偏分散の分散：一般の場合

一般の場合では4次モーメントが求まらないので、存在を仮定して新たに文字をおくことになります。

まず、$Y_i = X_i-\mu$とおきます。すると$Y_i$は平均$0$、分散$\sigma^2$で、かつ

S^2 = \frac{1}{n-1} \sum_{i=1}^n (Y_i - \overline{Y})^2

が成り立ちます。また、$X_i$の4次の中心モーメントが存在すると仮定し、それを$\mu_4$とおきます。すると、$E[Y_i^4] = \mu_4$が成り立ちます。

まず、期待値$E[S^4]$を求めましょう。

\begin{array} 
\displaystyle E[S^4] &=\displaystyle \frac{1}{(n-1)^2} E\left[ \left(\sum_{i=1}^n(Y_i - \overline{Y})^2 \right)^2 \right] \\
 &= \displaystyle \frac{1}{(n-1)^2} E\left[ \left(\sum_{i=1}^nY_i^2 -2 \sum_{i=1}^nY_i^2 \overline{Y} + n \overline{Y}^2\right)^2  \right] \\
&= \displaystyle \frac{1}{(n-1)^2} E\left[ \left(\sum_{i=1}^nY_i^2 - n \overline{Y}^2\right)^2  \right] \\
&=\displaystyle \frac{1}{(n-1)^2} \left\{ E\left[ \left(\sum_{i=1}^nY_i^2 \right)^2 \right] - 2 n E\left[ \sum_{i=1}^n Y_i^2 \overline{Y}^2 \right] + n^2 E\left[ \sum_{i=1}^n \overline{Y}^4 \right] \right\}\\
\end{array}

3つの期待値を順に$A,B,C$とおきます。

$A$について：
[]の中身を展開すると、$Y_i^4$の項が$n$個、$Y_i^2Y_j^2$（$i \not = j$)の項が$n(n-1)$個あるので、

A = n\mu_4 +n(n-1)\sigma^4.

$B$について:
$B = \frac{1}{n^2}\sum_{i=1}^n E \left[ Y_i^2 \left( \sum_{j=1}^n Y_j \right)^2 \right] $ となりますが、$j$について展開すると1次のモーメントは$0$になるので、結局$A$の場合と同じになって、

B = \frac{1}{n^2} (n\mu_4 +n(n-1)\sigma^4) = \frac{1}{n} (\mu_4 +(n-1)\sigma^4).

$C$について：
$C = \frac{1}{n^4} \sum_{i,j,k,l = 1}^n E[Y_i Y_j Y_k Y_l]$ となります。1次のモーメントがゼロになることに注意すると、残るのは$Y_i^4$の項と$Y_i^2Y_j^2$（$i \not = j$)の項だけです。
　　$Y_i^4$の項は、$n$個です。
　　$Y_i^2Y_j^2$の項については、
　　　　添字を2つにまとめる方法は、●●○○、●○●○、●○○●の3通り
　　　　各通りにおいて、それぞれの添字にどの番号が割り振られるかは、$n(n-1)$通り
　　なので$3n(n-1)$個です。
よって

C = \frac{1}{n^4} (n\mu_4 + 3n(n-1)\sigma^4) = \frac{1}{n^3} (\mu_4 + 3(n-1)\sigma^4)

以上より、

\begin{array}
\displaystyle E[S^4]&= \displaystyle　\frac{1}{(n-1)^2} \left\{ n\mu_4 +n(n-1)\sigma^4 - 2 n \left(\frac{1}{n} (\mu_4 +(n-1)\sigma^4)\right) + n^2 \left( \frac{1}{n^3} (\mu_4 + 3(n-1)\sigma^4) \right) \right\}\\
 &=\displaystyle \frac{1}{n} \mu_4 + \frac{1}{n(n-1)}(n^2-2n+3)\sigma^4
\end{array}

ゆえに

\begin{array}
\displaystyle V[S^2]&= E[S^4] -E[S^2]^2\\
&=\displaystyle \frac{1}{n} \mu_4 + \frac{1}{n(n-1)}(n^2-2n+3)\sigma^4 - \sigma^4 \\
&=\displaystyle \frac{1}{n} \left( \mu_4 - \frac{n-3}{n-1} \sigma^4 \right)
\end{array}

と求まりました。正規分布の場合は$\mu_4 = 3\sigma^4$で、代入すると確かに成り立っています。