※こちらの記事は"Pythonで学ぶあたらしい統計学の教科書"に基づいて、統計学初学者が頭の整理とアウトプットを目的に掲載している記事です。本の内容のみならず、自分で調べた内容、自分のイメージにマッチした内容を追記している場合もあります。
※まだまだPythonを使用しません。
前回の記事統計学4 - 標本分散と不偏分散において、標本分散のバイアスについて詳しくは触れていなかったので、本記事で触れていきます。
論理的な式の証明
まず、標本分散は式(1)のように表現されるのでした。
$$ s^2 = \frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2 \tag{1}$$
推測統計において、サンプル$x$は母集団分布に従う確率変数$X$が$x$という形で具現化($x$は実現値)しているものとして、考えます。つまり、式(1)の$x_i$を確率変数$X_i$、$\bar{x}$を$\bar{X}$に置き換えても問題ないです(補足参照)。そうすると式(1)は式(2)で表現されます。
$$ s^2 = \frac{1}{n}\sum_{i=1}^{n}(X_i-\bar{X})^2 \tag{2}$$
式(2)を展開すると式(3)のように表せます。
$$ s^2 = \frac{1}{n} \left\{ (X_1-\bar{X})^2 + (X_2-\bar{X})^2 + \cdots + (X_n-\bar{X})^2) \right\} \tag{3} $$
次に、標本分散$s^2$と母分散$\sigma^2$を比較するために式(3)をさらに式(5-7)に変形します。
母分散は式(4)のように表現されますが、式(3)に式(4)を入れられるように変形します。
$$ \sigma^2 = \frac{1}{n}\sum_{i=1}^{n}(X_i-\bar{X})^2 \tag{4}$$
$$
\begin{align}
s^2 &= \frac{1}{n} \left\{ (X_1-\mu-\bar{X}+\mu)^2 + (X_2-\mu-\bar{X}+\mu)^2 + \cdots + (X_n-\mu-\bar{X}+\mu)^2) \right\} \tag{5-1}\
&= \frac{1}{n} \left\{ \left((X_1-\mu)-(\bar{X}-\mu)\right)^2 + \left((X_2-\mu)-(\bar{X}-\mu)\right)^2 + \cdots + \left((X_n-\mu)-(\bar{X}-\mu)\right)^2 \right\} \tag{5-2}\
&= \frac{1}{n} \left\{ (X_1-\mu)^2-2(X_1-\mu)(\bar{X}-\mu)+(\bar{X}-\mu)^2+ \cdots + (X_n-\mu)^2-2(X_n-\mu)(\bar{X}-\mu)+(\bar{X}-\mu)^2 \right\} \tag{5-3}\
&= \frac{1}{n}\sum_{i=1}^{n}(X_i-\mu)^2 - 2\frac{1}{n}\sum_{j=1}^{n}(X_j-\mu)(\bar{X}-\mu) + (\bar{X}-\mu)^2 \tag{5-4}\
&= \frac{1}{n}\sum_{i=1}^{n}(X_i-\mu)^2 - 2(\bar{X}-\mu)\frac{1}{n}\sum_{j=1}^{n}(X_j-\mu) + (\bar{X}-\mu)^2 \tag{5-5}\
&= \frac{1}{n}\sum_{i=1}^{n}(X_i-\mu)^2 - 2(\bar{X}-\mu)(\bar{X}-\mu) + (\bar{X}-\mu)^2 \tag{5-6}\
&= \frac{1}{n}\sum_{i=1}^{n}(X_i-\mu)^2 - (\bar{X}-\mu)^2 \tag{5-7}
\end{align}
$$
参考:なぜ不偏分散はN-1で割るのか - Kosugitti's BLOG
上記の式変形を簡単に説明しておきます。
(5-3)までは(3)を展開しているだけです。
(5-4)で$\sum$でまとめられる部分はまとめてしまいます。
(5-5)で第二項の$(\bar{X}-\mu)$を$\sum$の外に出しています。$\bar{X}$は平均値、$\mu$は母集団の期待値ですので定数です。$\sum$の計算を行う上で定数を掛けても関係しないので外に出せます。
(5-6)で、$\frac{1}{n}\sum_{j=1}^{n}(X_j-\mu)=\bar{X}-\mu$ に展開しました。平均値の一般式は、$\frac{1}{n}\sum x$でしたので、平均値$X_i$の平均値を求めており、母集団の期待値$\mu$を$n$回足し算すればよいので、(5-6)のようになります。
さて、以上の式変形から最終的に式(5-7)になることがわかりました。
$$ s^2 = \frac{1}{n}\sum_{i=1}^{n}(X_i-\mu)^2 - (\bar{X}-\mu)^2 \tag{5-7}$$
ここで終わりではなくて、(5-7)から更に変形していくのですが、ここで式(6),(7)を使用します。この式については補足にて詳細は記載しておきますが、式(6)の意味だけ説明しておきます。
$E$は括弧内の期待値を表現する際に用いられます。
つまり$(\bar{X}-\mu)^2$の期待値は$\frac{1}{n}\sigma^2$である、ということです。
$$ \sigma^2 = E\left[ (X_i-\mu)^2 \right] \tag{6}$$
参考:標準分散と不偏分散 - biostatistics
$$ E\left[ (\bar{X}-\mu)^2 \right] = \frac{1}{n}\sigma^2 \tag{7}$$
参考:なぜ不偏分散はN-1で割るのか - Kosugitti's BLOG
式(6),(7)を(5-7)に適用するために、(5-7)の期待値を式で表してみると式(8)のようになります。
$$E[s^2] = \frac{1}{n}\sum_{i=1}^{n}E\left[(X_i-\mu)^2\right] - E\left[(\bar{X}-\mu)^2 \right] \tag{8}$$
式(8)であれば式(6),(7)を適用できそうですよね。やってみましょう。
$$
\begin{align}
E[s^2] &= \frac{1}{n}\sum_{i=1}^{n}E\left[(X_i-\mu)^2\right] - E\left[(\bar{X}-\mu)^2 \right] \tag{8} \
&= \frac{1}{n}\sum_{i=1}^{n}\sigma^2 - \frac{1}{n}\sigma^2 \
&= \sigma^2 - \frac{1}{n}\sigma^2 \
&= \frac{n-1}{n}\sigma^2 \tag{9}
\end{align}
$$
式(9)のようになりました。標本分散の期待値$E[s^2]$は$\frac{n-1}{n}\sigma^2$であるということですね。これでは、標本分散の期待値が母分散に一致しないのでは、推測統計の目的、"母集団を推測する"という目的を達成することができません。
そこで、母分散と一致させるために、標本偏差の期待値に、$\frac{n}{n-1}$を掛けてやります。
$$ \frac{n}{n-1}E[s^2] = E\left[\frac{n}{n-1}s^2\right] = \sigma^2 \tag{10}$$
この式(10)がまさに不偏分散です。やっと出せました。この不偏分散を出したかったのです。
$$u^2 = \frac{n}{n-1}s^2\ = \frac{n}{n-1}\frac{1}{n}\sum_{i=1}^{n}(X_i-\bar{X})^2 = \frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2 \tag{11}$$
ちなみに、$\frac{n}{n-1}$を$E$の括弧の中に入れてもいいのか、と感じた方、これは問題ありません。期待値に性質として定数は括弧の内外関係ありません。
以上で、標本分散では$\frac{1}{n}$をかけているが、不偏分散では$\frac{1}{n-1}$をかける理由が判明しました。
ご理解いただけたでしょうか。
補足
確率変数について
下記の通りですので、$X$は取りうる実現値$x$をすべて表しています。
確率変数とは、確率が与えられている変数であり、大文字の英字「例：X」で表す事が多い。対して、実現値(観測値)は小文字の英字「例：x」で表す事が多い。
1.1 期待値･分散のまとめ - Qiita
確率変数』とはとりうる値の範囲は分かっているけど、事前にその範囲の中からどの数になるかは分からないもの
【統計学】確率変数・確率分布の分かりやすい説明 - 株初心者が本気で儲けるブログ
式(6),(7)について
$$ \sigma^2 = E\left[ (X_i-\mu)^2 \right] \tag{6}$$
参考:標準分散と不偏分散 - biostatistics
$$ E\left[ (\bar{X}-\mu)^2 \right] = \frac{1}{n}\sigma^2 \tag{7}$$
参考:なぜ不偏分散はN-1で割るのか - Kosugitti's BLOG
上記2つの式についてもう少し説明を加えます。
まず、式(6)については、期待値の定義(12)と分散の定義(13)、それぞれの定義から分かります。
$$E(X) = \sum_{i=1}^{n}x_ip_i \tag{12}$$
$x_i$は実現値、$p_i$は確率です。
$$V(X) = E[(X-E(X))^2] \tag{13}$$
$V(X)$は分散です。
参考:期待値と分散の公式 - 理数アラカルト
(12),(13)から母分散を考えると、式(13)の$E(X)$は$\mu$になります。
つまり、式(13)は母分散を考えた場合、式(6)のように表せます。
次に式(7)について、下記の通りです。
$$
\begin{align}
E\left[ (\bar{X}-\mu)^2 \right] &= E\left[ \left\{ \frac{1}{n}(X_1 + X_2 + \cdots + X_n-n\mu) \right\}^2 \right] \
&= E\left[ \frac{1}{n^2} \left\{ (X_1-\mu) + (X_2-\mu) + \cdots + (X_n-\mu) \right\}^2 \right] \
&= \frac{1}{n^2}\sum_{i=1}^{n}E \left[(X_i-\mu)^2 \right] \
&= \frac{1}{n^2}(\sigma^2+\sigma^2+ \cdots + \sigma^2) \
&= \frac{1}{n}\sigma^2 \tag{7}
\end{align}
$$
まとめ
全体の流れとしては、標本分散(標本から求められる分散)と母分散の間に不偏性がないことを確認した上で、標本分散が母分散より小さくなってしまうのを修正するために、$\frac{n}{n-1}$を標本分散にかけました。
不偏分散は標本分散の$\frac{n}{n-1}$をかけた結果なので、不偏分散は$n-1$で割っているということでした。
所感
私自身気になっていたのですが、理解するにはかなり時間かかりました。大学の授業でも触れられる内容ですので、WEBサイトも豊富でした。様々なサイトを参考に理解を深められましたが、なかなか細かく書いているところはなく、理解には時間がかかってしまいました。
本記事はできる限り端折らずに記載したつもりですが、私と同じ統計学の初学者の方の一助となれば幸いです。
参考サイト
期待値の定義・性質・計算例。平均との違いも！ - to-kei.net
なぜ不偏分散はN-1で割るのか - Kosugitti's BLOG
標本分散の一致性と不偏性 - 統計WEB
3 よく利用する平均 - 放課後の数学入門
不偏標本分散の意味とn-1で割ることの証明 - 高校数学の美しい物語
期待値と分散の公式 - 理数アラカルト
確率変数の期待値と分散 - 健康統計の基礎・健康統計学
統計で用いられる記号の整理 - データ科学便覧
母分散と不偏分散 - 国立研究開発法人産業技術総合研究所
標本分布 - 標本の期待値と分散 - 野次馬エンジニア道