1. 要約
本記事では重回帰分析によって求まった係数に対しての検定方法と，なぜその統計量を利用するのかについてまとめました．
2. 係数の分布
Xを1列目が$1_n$である$n\times (p+1)$行列とし，yを$n\times 1$の従属変数ベクトル，$\beta$を$p\times 1$の係数ベクトル，eを$n\times 1$の誤差ベクトル(確率変数ベクトル)とすると，重回帰分析のモデル式は$$y = X\beta + e$$と表され，係数$\beta$の最小二乗推定量$\widehat{\beta}$は$$\widehat{\beta} = (X^TX)^{-1}X^Ty$$で表されます．ここで$$e\sim N(0_n,\sigma^2 I_n)$$であることに注意すると，その線型結合で表されるyの分布は$$y\sim N(X\beta, \sigma^2I_n)$$となります．また係数の最小二乗推定量$\widehat{\beta}$は先ほどのyの場合と同様にeの線型結合で表されるので，
\begin{eqnarray}
E[\widehat{\beta}] &=& (X^TX)^{-1}X^TE[y]\\
&=& (X^TX)^{-1}X^TX\beta\\
&=& \beta \\
V[\widehat{\beta}] &=& V[(X^TX)^{-1}X^Ty]\\
&=& (X^TX)^{-1}X^TV[y]X(X^TX)^{-1}\\
&=& (X^TX)^{-1}X^T\sigma^2I_nX(X^TX)^{-1}\\
&=& (X^TX)^{-1}\sigma^2
\end{eqnarray}
から，$$\widehat{\beta}\sim N(\beta, (X^TX)^{-1}\sigma^2)$$となることがわかります．重回帰分析ではどの係数がモデルにとって必要なのか，つまり，どの係数が不要なのかについて検定を行います．$\beta = [\beta_1,\beta_2,\cdots,\beta_p]^T$とすると以上の検定の帰無仮説は$$H_0:\ \beta_j = 0\ (j=1,\cdots,p)$$
となり，これが有意水準$\alpha$で棄却されるか否かを計算します．次節では，$\beta$から検定統計量を導出します．
3. 検定統計量
先ほどの帰無仮説$H_0$:$\beta=0_p$が正しいとすると，$$\widehat{\beta}\sim N(0_p, (X^TX)^{-1}\sigma^2)$$となり，帰無仮説のもとで，統計量Tは
\begin{eqnarray}
T = \frac{\beta_j-0}{\sqrt{\widehat{\sigma}^2v_{jj}}}
\end{eqnarray}
で表される．ここで$v_{jj}$は$(X^TX)^{-1}$の$(j,j)$成分を，$\widehat{\sigma}^2$は$\sigma^2$の不偏推定量を表している．$\widehat{\sigma}^2$が$$\frac{(N-p-1)\widehat{\sigma}^2}{\sigma^2}\sim\chi^2_{N-p-1}$$となることに注意すると，
\begin{eqnarray}
T &=& \frac{\beta_j-0}{\sqrt{\widehat{\sigma}^2v_{jj}}}\\
&=& \frac{\frac{\beta_j-0}{\sigma\sqrt{v_{jj}}}}{\sqrt{\frac{\widehat{\sigma}^2}{\sigma^2}}}\\
&\sim&\frac{N(0,1)}{\sqrt{\frac{\chi^2_{N-p-1}}{N-p-1}}}\sim t_{N-p-1}\\
\end{eqnarray}
とTは自由度$N-p-1$のt分布に従うことがわかる．重回帰分析の係数が必要であるかどうかの検定は，この検定統計量を用いてt検定を行うことで検証されます．ちなみに，この検定統計量の分母$$se(\beta_j)=\sqrt{\widehat{\sigma}^2v_{jj}}\ (j=1,\cdots,p)$$は標準誤差と呼ばれ，係数の推定量の精度を表します．標準誤差はデータの標準偏差をサンプル数の平方根で割ったものとして定義されますが，今回の場合，サンプル数$n=1$なので，見かけ上割ってないように見えますが，これで標準誤差を表します．
所感
もう重回帰分析飽きてきた感ある．多変量解析のモデルの多くは線形モデルなので，重回帰分析は全ての基礎となりますが，流石にくどいです．次回は一旦ロジスティック回帰の話をやりたい．
参考文献
Hasitie,Tibshirani,Friedman(2009).The elements of statistical learning