1. ざっくり要約
今回は，前回の記事の途中でさらっと使った平方和の分割についての薄い記事です．
2. 何に使える？
不偏標本分散の不偏性の証明だとか，標本分散をちょこっと変形したものがカイ二乗分布に従うことの証明とか，分散分析の総変動の分割などなど意外と出てくる場面多いです．
3. 実際にやってみる(具体例2つ)
本節では実際に平方和を分割してみます．何か差し込んでうまいこと分けるというイメージです．
例1. 標本不偏分散の不偏性の証明
$N(\mu,\sigma)$に従うn個の無作為標本$X_1,\cdots,X_n$に対して標本不偏分散は$$\widehat{\sigma}^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2$$で定義される統計量です．$n-1$で割るのがポイントです．ここで$$\bar{X}=\frac{1}{n}\sum_{i=1}^nX_i$$は標本平均を表しています．以下，標本不偏分散が，母分散の不偏推定量であること，つまり，$$E[\widehat{\sigma}^2]=\sigma^2$$となることを証明します．平均からの偏差の平方和に母平均$\mu$を挟み込むことを考えます．
\begin{eqnarray}
\sum_{i=1}^n(X_i-\bar{X})^2&=&\sum_{i=1}^n(X_i-\mu+\mu-\bar{X})^2\\
&=&\sum_{i=1}^n((X_i-\mu)-(\bar{X}-\mu))^2\\
&=&\sum_{i=1}^n(X_i-\mu)^2-2(\bar{X}-\mu)\sum_{i=1}^n(X_i-\mu)+\sum_{i=1}^n(\bar{X}-\mu)^2\\
&=&\sum_{i=1}^n(X_i-\mu)^2-2(\bar{X}-\mu)(\sum_{i=1}^nX_i-\sum_{i=1}^n\mu)+n(\bar{X}-\mu)^2\\
&&(\because (\bar{X}-\mu)^2は添字iに無関係)\\
&=&\sum_{i=1}^n(X_i-\mu)^2-2n(\bar{X}-\mu)^2+n(\bar{X}-\mu)^2\\
&=&\sum_{i=1}^n(X_i-\mu)^2-n(\bar{X}-\mu)^2\\
\end{eqnarray}
となります(これが平方和の分割です)．この変形を用いて$E[\widehat{\sigma}^2]$を式変形すると，
\begin{eqnarray}
E[\widehat{\sigma}^2]&=&E[\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2]\\
&=&\frac{1}{n-1}E[\sum_{i=1}^n(X_i-\bar{X})^2]\\
&=&\frac{1}{n-1}E[\sum_{i=1}^n(X_i-\mu)^2-n(\bar{X}-\mu)^2]\\
&&(\because 先ほどの変形から)\\
&=&\frac{1}{n-1}(\sum_{i=1}^nE[(X_i-\mu)^2]-nE[(\bar{X}-\mu)^2])\\
&=&\frac{1}{n-1}(n\sigma^2-n\frac{\sigma^2}{n})\ (\because \bar{X}\sim N(\mu,\frac{\sigma^2}{n}))\\
&=&\sigma^2
\end{eqnarray}
となり，不偏であることが示されました．
例2. 分散分析の総変動の分割．
- $Y_{ij}$: $N(\mu_i,\sigma^2)$からのj番目の標本．$Y_{i}=(Y_{i1},\cdots,Y_{i n_i})$は独立に同分布($N(\mu_i,\sigma^2)$)に従い，$Y_1,\cdots,Y_p$はそれぞれ独立とする．
- $\bar{Y},\bar{Y_i}(i=1,\cdots,p)$: それぞれ，総標本平均，第i群の標本平均
- $S_T$: 総変動．$\sum_{i=1}^p\sum_{j=1}^{n_i}(Y_{ij}-\bar{Y})^2$で定義される．総標本平均からの各標本の散らばりを表す．
- $S_W$: 級内変動．$\sum_{j=1}^{n_i}(Y_ij-\bar{Y_i})^2$で定義される．各群の標本平均からの散らばりを表す．
- $S_B$: 級間変動．$\sum_{i=1}^pn_i(\bar{Y_i}-\bar{Y})^2$で定義される．総標本平均からの各群の標本平均のズレを表す．
分散分析は，総変動が級内変動と級間変動の和に分割できることを利用してF検定を行うものである．以下$$S_T=S_W+S_B$$となることを示します．まず総変動に各群の平均$Y_i$を挟み込みます
\begin{eqnarray}
\sum_{i=1}^p\sum_{j=1}^{n_i}(Y_{ij}-\bar{Y})^2&=&\sum_{i=1}^p\sum_{j=1}^{n_i}(Y_{ij}-\bar{Y_i}+\bar{Y_i}-\bar{Y})^2\\
&=&\sum_{i=1}^p\sum_{j=1}^{n_i}((Y_{ij}-\bar{Y_i})+(\bar{Y_i}-\bar{Y}))^2\\
&=&\sum_{i=1}^p\sum_{j=1}^{n_i}((Y_{ij}-\bar{Y_i})^2+(\bar{Y_i}-\bar{Y})^2+(Y_{ij}-\bar{Y_i})(\bar{Y_i}-\bar{Y}))\\
&=&\sum_{i=1}^p\sum_{j=1}^{n_i}(Y_{ij}-\bar{Y_i})^2+\sum_{i=1}^p(\bar{Y_i}-\bar{Y})^2\sum_{j=1}^{n_i}\\
&&(\because (\bar{Y_i}-\bar{Y})は添字jに無関係)\\
&=&\sum_{i=1}^p\sum_{j=1}^{n_i}(Y_{ij}-\bar{Y_i})^2+\sum_{i=1}^pn_i(\bar{Y_i}-\bar{Y})^2=S_W+S_B
\end{eqnarray}
なお途中で，$(Y_{ij}-\bar{Y_i})(\bar{Y_i}-\bar{Y})$の項(クロスタームといいます)が
\begin{eqnarray}
\sum_{i=1}^p\sum_{j=1}^{n_i}(Y_{ij}-\bar{Y_i})(\bar{Y_i}-\bar{Y})&=&\sum_{i=1}^p(\bar{Y_i}-\bar{Y})\sum_{j=1}^{n_i}(Y_{ij}-\bar{Y_i})\\
&=&\sum_{i=1}^p(\bar{Y_i}-\bar{Y})(n_i\bar{Y_i}-n_i\bar{Y_i})\\
&=&\sum_{i=1}^p(\bar{Y_i}-\bar{Y})\cdot 0\\
&=&0
\end{eqnarray}
となることを利用しました．以上から，総変動は級内変動と級間変動の和に分割されることが示されました．
分散分析では，この級間変動と級内変動をそれぞれの自由度で割ったものの比を検定統計量として検定を行います．(私はあまり検定を行わないので詳しく無いです．必要に応じて勉強します．)
4. 参考文献
毎度おなじみの
を参考にしました．