1. roughなsummary

　本記事では，標本平均と標本分散が独立であることの証明を行いました．統計の授業でやったことの復習です．稲垣「数理統計学」の定理6.3あたりのことをやってます．
　ルー大柴さん好きなので，節の名前をそれっぽくしてます．内容には一切現れません．あの人の喋り方で書くとすごく読みにくいからね．

2. 軽いpreparation

$X_1,\cdots,X_n$を正規分布($N(\mu,\sigma^2)$)からの無作為標本(各標本は独立で同じ分布から発生したと仮定，independent and identically distributed, iid)とすると，標本平均と標本分散はそれぞれ以下のように定義されます．
$$\bar{X} = \frac{1}{n}\sum_{i=1}^nX_i$$$$S^2=\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2$$
今回はこれらの２つが独立であることの証明をまとめます．多分調べたら似たような証明がわんさか出てくると思います．

3. 標本平均と標本分散がindependentであることの証明(本編)

　以下証明です．稲垣「数理統計学」を参考にしています．
　無作為標本$X_1,\cdots,X_n$が互いに独立に$N(\mu,\sigma^2)$に従うことから，そのZ変換$$Z_i = \frac{X_i- \mu}{\sigma}$$は$N(0,1)$に互いに独立で従います．この時，$Z_i(i=1,\cdots,n)$の同時確率密度関数は，$z=(z_1,\cdots,z_n)$とすると$$f(z)=\prod_{i=1}^n(2\pi)^{-\frac{1}{2}}\exp(-\frac{z_i^2}{2})=(2\pi)^{-\frac{n}{2}}\exp(-\frac{1}{2}z^Tz)$$と表されます．$Z=(Z_1,\cdots,Z_n)^T$を以下の条件を満たす行列Cで変数変換することを考えます．

~条件~
1. １行目が全て$1/\sqrt{n}$
2. 直交行列である($=C^TC=CC^T=I_n$)

2つ目の条件からZを変数変換する際のヤコビアンは$\pm1$であることがわかります(証明が知りたい方はこちら)．よって，Zの直交変換$Y=CZ$の同時確率密度関数は，

\begin{eqnarray}
h(y)&=&f(C^Ty)=(2\pi)^{-\frac{n}{2}}\exp(-\frac{1}{2}(C^Ty)^T(C^Ty))\\
&=&(2\pi)^{-\frac{n}{2}}\exp(-\frac{1}{2}y^Ty) = \prod_{i=1}^n(2\pi)^{-\frac{1}{2}}\exp(-\frac{y_i^2}{2})\\
&=&\prod_{i=1}^n\phi(y_i)
\end{eqnarray}

と変形できることから，$Y_i$は互いに独立に標準正規分布に従うことがわかります(①)．また，Cが直交行列であることを用いて，

\begin{eqnarray}
Z_1^2+\cdots+Z_n^2&=&Z^TZ\\
&=&(C^TY)^T(C^TY)=Y^TC^TCY=Y^TY\\
&=&Y_1^2+\cdots+Y_n^2\\
&=&\sum_{i=1}^n\frac{(X_i-\mu)^2}{\sigma^2}\\
&=&\sum_{i=1}^n\frac{(X_i-\bar{X})^2+(\bar{X}-\mu)^2}{\sigma^2}\\
&=&\frac{n(\bar{X}-\mu)^2}{\sigma^2}+\sum_{i=1}^n\frac{(X_i-\bar{X})^2}{\sigma^2}\ \ \ \cdots(*)
\end{eqnarray}

と変形できます．7番目の等号で平方和の分割を行いました．後日さらっと記事にします．また，Cの第1行目が全て$1/\sqrt{n}$であることから，$Y_1$は，

\begin{eqnarray}
Y_1&=&\sum_{i=1}^n\frac{Z_i}{\sqrt{n}}=\sum_{i=1}^n\frac{X_i-\mu}{\sqrt{n}\sigma}\\
&=&\frac{1}{\sigma}(\frac{1}{\sqrt{n}}\sum_{i=1}^nX_i-\frac{n}{\sqrt{n}}\mu)\\
&=&\frac{\sqrt{n}(\bar{X}-\mu)}{\sigma}\\
(&=&\frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}}\mbox{〜}N(0,1))
\end{eqnarray}

となり，$(*)$は結局のところ，

\begin{eqnarray}
Y_1^2+\cdots+Y_n^2&=&\frac{n(\bar{X}-\mu)^2}{\sigma^2}+\sum_{i=1}^n\frac{(X_i-\bar{X})^2}{\sigma^2}\\
&=&Y_1^2+\frac{nS^2}{\sigma}
\end{eqnarray}

と標本平均$\bar{X}$と標本分散$S^2$に関係する部分にパカっと分割できます．ここで，①の$Y_i$は互いに独立であることと，互いに独立な確率変数から変換してできたものも独立になるという性質から，標本平均$\bar{X}$と標本分散$S^2$は独立となります．(証明終了)
　ちなみに， $$\frac{nS^2}{\sigma}=Y_2^2+\cdots+Y_n^2$$は自由度n-1のカイ二乗分布に従います(カイ二乗分布の定義そのまま利用)．また標本平均$\bar{X}$と標本分散$S^2$が独立であることと，$Y_1$が標準正規分布に従うことから，$$\frac{\frac{\sqrt{n}(\bar{X}-\mu)}{\sigma}}{\sqrt{\frac{nS^2}{\sigma^2(n-1)}}}=\frac{\sqrt{n}(\bar{X}-\mu)}{\frac{\sum_{i=1}^n(X_i-\bar{X})^2}{n-1}}=\frac{\sqrt{n}(\bar{X}-\mu)}{s^2}$$は自由度n-1のt分布に従います．ただし，$s^2$は不偏標本分散を表しています．
　各統計量がどういった分布に従うかを把握していると，統計的検定を行う際の助けとなります．代表的なものは頭に入れておきましょう．

参考書籍

稲垣宣夫　「数理統計学」こちら(Amazon)

この本は，書店で売っている統計学の教科書よりもう一歩詳しい内容を説明しています．一通り検定とかやってみて，その数理が気になる方には良いのではないのでしょうか(授業の教科書だったので全部は読んでないです)?友人曰く，行間がすごいトコがたまにあるらしいです．僕は好き．
ステルスマーケティングっぽいんですが，私にお金入らないので安心してください．

[feat.]標本平均と標本分散は独立の証明[ルー大柴]

1. roughなsummary

2. 軽いpreparation

3. 標本平均と標本分散がindependentであることの証明(本編)

参考書籍