はじまり
$X,Y$の２つの確率変数がある。
$X,Y$には関係性がある。
$n$個のサンプル$X_i,Y_i(i \in 1 \cdots n)$を取ってくる
原理
$X,Y$には原理的に
Y= \beta_1 + \beta_2 X + \epsilon
の関係があったとする。
ここで、$\epsilon$は外乱項・誤差項・撹乱項である。確率変数でもある。
ここで、一つサンプルする
Y_i= \beta_1 + \beta_2 X_i + \epsilon_i
次の3つの仮定を入れる
(a)$E[\epsilon_i] = 0 (i \in 1 \cdots n)$
ここでの平均は確率変数の平均である。標本内平均ではない
(b) $V[\epsilon_i] = \sigma^2$
(c) $Cov(\epsilon_i , \epsilon_j) = 0$
誤差項はサンプルごとに相関がない
次に
$X_i$がまず定まったと考える。
誤差が乗って$Y_i$が決まる。
\begin{eqnarray}
E[Y_i] &=& E[\beta_1 + \beta_2 X_i + \epsilon_i]\\
&=& \beta_1 + \beta_2 E[X_i] + E[\epsilon_i]\\
&=&\beta_1 + \beta_2 X_i
\end{eqnarray}
ここで、$E[X_i] = X_i$としているが、$X_i$が定まったうえで$Y_i$を考えているためである。
本来はこう書くべきである
\begin{eqnarray}
E[Y_i|X_i] &=& E[\beta_1 + \beta_2 X_i + \epsilon_i]\\
&=& \beta_1 + \beta_2 E[X_i|X_i] + E[\epsilon_i|X_i]\\
&=&\beta_1 + \beta_2 X_i
\end{eqnarray}
回帰分析においては$X$を確率変数としては扱わないみたいだ。
誤差項は
\epsilon_i = Y_i - (\beta_1 + \beta_2 X_i )
である。二乗和を$S$とする。
\begin{eqnarray}
S &=& \Sigma \epsilon_i^2\\
&=& \Sigma (Y_i - (\beta_1 + \beta_2 X_i ))^2
\end{eqnarray}
これを最小化するように、$\beta_1,\beta_2$の推定を行う
\begin{eqnarray}
\frac{\partial S}{\partial \beta_1 } &=& \frac{\partial }{\partial \beta_1 } \Sigma (Y_i - (\beta_1 + \beta_2 X_i))^2\\
&=&2 \Sigma(Y_i - (\beta_1 + \beta_2 X_i) ) (-1)\\
&=&-2 \Sigma(Y_i - (\beta_1 + \beta_2 X_i) )\\
\frac{\partial S}{\partial \beta_2 } &=& \frac{\partial }{\partial \beta_2 } \Sigma (Y_i - (\beta_1 + \beta_2 X_i))^2\\
&=&2 \Sigma(Y_i - (\beta_1 + \beta_2 X_i) ) (-X_i)\\
&=& -2 \Sigma(X_i Y_i -\beta_1 X_i - \beta_2 X_i^2)
\end{eqnarray}
$S$が最小の時$\beta_1,\beta_2$の偏微分の結果は0であるはずである。(0でないとすれば、Sは最小ではない)
\begin{eqnarray}
\begin{pmatrix}
\Sigma Y_i \\
\Sigma X_i Y_i \\
\end{pmatrix}
=
\begin{pmatrix}
n & \Sigma X_i \\
\Sigma X_i & \Sigma X_i^2 \\
\end{pmatrix}
\begin{pmatrix}
\hat \beta_1 \\
\hat \beta_2 \\
\end{pmatrix}\\
\therefore
\begin{pmatrix}
\hat \beta_1 \\
\hat \beta_2 \\
\end{pmatrix}
=
\frac{1}{n \Sigma X_i^2 -(\Sigma X_i)^2}
\begin{pmatrix}
\Sigma X_i^2 & -\Sigma X_i \\
-\Sigma X_i & n \\
\end{pmatrix}
\begin{pmatrix}
\Sigma Y_i \\
\Sigma X_i Y_i \\
\end{pmatrix}
\end{eqnarray}
ここで、標本平均を導入する
\begin{eqnarray}
\bar X &= \frac{\Sigma X_i }{n} \\
\bar Y &= \frac{\Sigma Y_i }{n}
\end{eqnarray}
分散を求めるときの展開
\begin{eqnarray}
\Sigma (X_i - \bar X)^2 &=& \Sigma X_i^2 - n(\bar X)^2\\
\therefore \Sigma X_i^2 &=& \Sigma (X_i - \bar X)^2 + n(\bar X)^2 \\
\Sigma (X_i - \bar X) (Y_i - \bar Y) &=& \Sigma X_i Y_i - n \bar X \bar Y \\
\therefore \Sigma X_i Y_i &=& \Sigma (X_i - \bar X) (Y_i - \bar Y) + n \bar X \bar Y
\end{eqnarray}
これを使って式を変形する
\begin{eqnarray}
\begin{pmatrix}
\hat \beta_1 \\
\hat \beta_2 \\
\end{pmatrix}
&=&
\frac{1}{n \Sigma X_i^2 -(\Sigma X_i)^2}
\begin{pmatrix}
\Sigma X_i^2 & -\Sigma X_i \\
-\Sigma X_i & n \\
\end{pmatrix}
\begin{pmatrix}
\Sigma Y_i \\
\Sigma X_i Y_i \\
\end{pmatrix}\\
&=&
\frac{1}{n ( \Sigma (X_i - \bar X)^2 + n(\bar X)^2 )-(\Sigma X_i)^2}
\begin{pmatrix}
\Sigma X_i^2 & -\Sigma X_i \\
-\Sigma X_i & n \\
\end{pmatrix}
\begin{pmatrix}
\Sigma Y_i \\
\Sigma X_i Y_i \\
\end{pmatrix}\\
&=&
\frac{1}{n \Sigma (X_i - \bar X)^2 }
\begin{pmatrix}
\Sigma X_i^2 \Sigma Y_i -\Sigma X_i \Sigma X_i Y_i\\
-\Sigma X_i \Sigma Y_i + n \Sigma X_i Y_i \\
\end{pmatrix}\\
&=&
\frac{1}{n \Sigma (X_i - \bar X)^2 }
\begin{pmatrix}
( \Sigma (X_i - \bar X)^2 + n(\bar X)^2) n\bar Y - n \bar X \Sigma X_i Y_i\\
-n^2 \bar X \bar Y + n \Sigma X_i Y_i \\
\end{pmatrix}\\
&=&
\frac{1}{n \Sigma (X_i - \bar X)^2 }
\begin{pmatrix}
( \Sigma (X_i - \bar X)^2 + n(\bar X)^2) n\bar Y - n \bar X ( \Sigma (X_i - \bar X) (Y_i - \bar Y) + n \bar X \bar Y )\\
-n^2 \bar X \bar Y + n ( \Sigma (X_i - \bar X) (Y_i - \bar Y) + n \bar X \bar Y ) \\
\end{pmatrix} \\
&=&
\frac{1}{n \Sigma (X_i - \bar X)^2 }
\begin{pmatrix}
( \Sigma (X_i - \bar X)^2 ) n\bar Y - n \bar X ( \Sigma (X_i - \bar X) (Y_i - \bar Y) )\\
n \Sigma (X_i - \bar X) (Y_i - \bar Y) \\
\end{pmatrix} \\
&=&
\begin{pmatrix}
\bar Y - \bar X \frac{ \Sigma (X_i - \bar X) (Y_i - \bar Y)}{ \Sigma (X_i - \bar X)^2 } \\
\frac{ \Sigma (X_i - \bar X) (Y_i - \bar Y)}{ \Sigma (X_i - \bar X)^2 } \\
\end{pmatrix} \\
\end{eqnarray}
このように、$\hat \beta_1,\hat \beta_2$を定めれば$S = \Sigma (Y_i - (\beta_1 + \beta_2 X_i ))^2$を最小化できる。
\hat \beta_1 = \bar Y - \bar X \hat \beta_2
の関係がある。
回帰係数まとめ
\begin{eqnarray}
\hat \beta_1 &= \bar Y - \bar X \hat \beta_2 \\
\hat \beta_2 &= \frac{ \Sigma (X_i - \bar X) (Y_i - \bar Y)}{ \Sigma (X_i - \bar X)^2 }
\end{eqnarray}
ずれの評価
\hat Y = \hat \beta_1 + \hat \beta_2 X
として、これを標本回帰直線と呼ぶ。$Y,X$は確率変数を使う。
回帰値とのずれを$\hat e $として
\hat e_i = Y_i - \hat Y_i
とする。
\begin{eqnarray}
\Sigma \hat e_i &=& \Sigma Y_i - \Sigma ( \hat \beta_1 + \hat \beta_2 X_i) \\
&=&n \bar Y -n( \bar Y - \bar X \hat \beta_2) -n\hat \beta_2 \bar X\\
&=& 0
\end{eqnarray}
である。
\begin{eqnarray}
\Sigma \hat e_i X_i &=& \Sigma Y_i X_i - \Sigma ( \hat \beta_1 + \hat \beta_2 X_i) X_i \\
&=& \Sigma Y_i X_i - ( n \hat \beta_1 \bar X + \hat \beta_2 \Sigma X_i^2) \\
&=& (\Sigma (X_i - \bar X) (Y_i - \bar Y) + n \bar X \bar Y ) - ( n \hat \beta_1 \bar X + \hat \beta_2(\Sigma (X_i - \bar X)^2 + n(\bar X)^2)) \\
&=& (\Sigma (X_i - \bar X) (Y_i - \bar Y) + n \bar X \bar Y ) - ( n (\bar Y - \bar X \hat \beta_2) \bar X + \hat \beta_2(\Sigma (X_i - \bar X)^2 + n(\bar X)^2)) \\
&=& \Sigma (X_i - \bar X) (Y_i - \bar Y) - \beta_2 \Sigma (X_i - \bar X)^2\\
&=& \Sigma (X_i - \bar X) (Y_i - \bar Y) - ( \frac{ \Sigma (X_i - \bar X) (Y_i - \bar Y)}{ \Sigma (X_i - \bar X)^2 } ) \Sigma (X_i - \bar X)^2 \\
&=& 0
\end{eqnarray}
となる。つまり$X \perp e$となる。
単回帰分析の分布を考える
ここから、行列を使って考える。
Y=X\beta + \epsilon
とおく。
\begin{eqnarray}
\epsilon \sim N(0,\sigma^2 I_n)\\
Y \sim N(X\beta,\sigma^2 I_n)\\
\end{eqnarray}
となる。
次のように回帰係数を推定する
\begin{eqnarray}
X^T Y &= X^T X \beta\\
\therefore \hat \beta &= (X^T X)^{-1} X^T Y\\
\end{eqnarray}
$\hat \beta$の分布を考える
\begin{eqnarray}
E[\hat \beta] &=& (X^T X)^{-1} X^T Y \\
&=& (X^T X)^{-1} X^TX \beta\\
&=& \beta\\
\end{eqnarray}
つまり、ちゃんと$\beta$不偏推定量となっている。
\begin{eqnarray}
V[\hat \beta] &=& (X^T X)^{-1} X^T V[Y] ((X^T X)^{-1} X^T)^T\\
&=&(X^T X)^{-1} X^T \sigma^2 I_n ((X^T X)^{-1} X^T)^T\\
&=& \sigma^2 (X^T X)^{-1}
\end{eqnarray}
つまり、
\hat \beta \sim N(\beta,\sigma^2 (X^T X)^{-1})
つぎに、
\hat y = X \hat \beta
で推定する。
\begin{eqnarray}
E[\hat Y] &=& X E[\hat \beta]\\
&=&X\beta \\
\end{eqnarray}
分散は
\begin{eqnarray}
V[\hat Y] &=& X V[\hat \beta]X^T\\
&=&\sigma^2 X (X^T X)^{-1} X^T\\
\end{eqnarray}
よって
\hat Y \sim N(X \beta,\sigma^2 X (X^T X)^{-1} X^T)
推定誤差を考える
e= Y- \hat Y
平均は
\begin{eqnarray}
E[e] &=& E[Y- \hat Y]\\
&=& X\beta - X \beta\\
&=& 0
\end{eqnarray}
分散は
\begin{eqnarray}
V[e] &=& V[Y-\hat Y]\\
&=& V[Y - X(X^T X)^{-1} X^T Y]\\
&=& V[(I_n - X(X^T X)^{-1} X^T)Y]\\
&=& (I_n - X(X^T X)^{-1} X^T)Y Y^T(I_n - X(X^T X)^{-1} X^T)^T\\
&=& (I_n - X(X^T X)^{-1} X^T)\sigma^2 I_n (I_n - X(X^T X)^{-1} X^T)^T\\
&=& \sigma^2 (I_n - X(X^T X)^{-1} X^T)
\end{eqnarray}
となる。
よって
e \sim N(0, \sigma^2 (I_n - X(X^T X)^{-1} X^T ))
となる。
まとめ
\begin{eqnarray}
\epsilon &\sim& N(0,\sigma^2 I_n)\\
Y &\sim& N(X\beta,\sigma^2 I_n)\\
\hat \beta &\sim& N(\beta,\sigma^2 (X^T X)^{-1})\\
\hat Y &\sim& N(X \beta,\sigma^2 X (X^T X)^{-1} X^T)\\
e &\sim& N(0, \sigma^2 (I_n - X(X^T X)^{-1} X^T ))\\
\end{eqnarray}
誤差の分散を推定する。
e \sim N(0, \sigma^2 (I_n - X(X^T X)^{-1} X^T ))\\
である。
$X$のSVD分解を考えれば
X= U^*
\begin{pmatrix}
\Sigma\\
0\\
\end{pmatrix}
V
の形をしている。
$I_n - X(X^T X)^{-1} X^T $を計算する
\begin{eqnarray}
I_n - X(X^T X)^{-1} X^T &=& I_n - U^*
\begin{pmatrix}
I_p & 0\\
0 & 0\\
\end{pmatrix}
U\\
&=& U^*(I_n -
\begin{pmatrix}
I_p & 0\\
0 & 0\\
\end{pmatrix} )
U\\
&=& U^*
\begin{pmatrix}
0 & 0\\
0 & I_{n-p}\\
\end{pmatrix}
U
\end{eqnarray}
となる。よって
e \sim N(0, \sigma^2U^*
\begin{pmatrix}
0 & 0\\
0 & I_{n-p}\\
\end{pmatrix}
U )\\
ここで、
\begin{eqnarray}
E[\Sigma e_i^2] &=& tr[E[e e^T]] \\
&=&tr(V[e])\\
&=& tr(\sigma^2U^*
\begin{pmatrix}
0 & 0\\
0 & I_{n-p}\\
\end{pmatrix}
U ))\\
&=& \sigma^2 (n-p)
\end{eqnarray}
よって、
E[s^2] = E[\Sigma e_i ^2 / (n-p)] = \sigma^2
とすると**$s^2$が$\epsilon$の分散$\sigma^2$の推定値となる**。単回帰分析の場合はパラメータが2つなので$p=2$として計算する。
つまり$s^2$が小さいほど回帰方程式の当てはまりが良い。
$e$は
e \sim N(0, \sigma^2U^*
\begin{pmatrix}
0 & 0\\
0 & I_{n-p}\\
\end{pmatrix}
U )\\
より、$n-p$個独立で分散$\sigma^2$の正規分布変数の集まり又はベクトルとなっていると考えられる。よって、
s^2 =
\Sigma e_i ^2 / (n-p)\\
はカイ二乗分布$\sigma^2\chi^2(n-p)$に従うといえる。
単回帰分析の場合
\Sigma e_i ^2 \sim \sigma^2 \chi^2(n-p)\\
であると先ほどの結果よりわかった。$\Sigma e_i ^2$を$\sigma^2$の推定値として利用する。
\begin{eqnarray}
X &=&
\begin{pmatrix}
1 & x_1\\
\vdots& \vdots\\
1 & x_n\\
\end{pmatrix} \\
X^T &=&
\begin{pmatrix}
1 & \cdots &1\\
x_1 & \cdots & x_n\\
\end{pmatrix} \\
X^TX &=&
\begin{pmatrix}
n & n \bar x\\
n \bar x & S_{xx} + n \bar x^2\\
\end{pmatrix} \\
(X^TX)^{-1} &=&
\frac{1}{S_{xx}}
\begin{pmatrix}
\bar x^2+\frac{S_{xx}}{n} & - \bar x\\
- \bar x & 1\\
\end{pmatrix} \\
\end{eqnarray}
である。
推定係数行列$\hat \beta$は次の分布に従う
\begin{eqnarray}
\hat \beta &\sim& N(\beta,\sigma^2 (X^T X)^{-1})\\
\end{eqnarray}
よって、
\begin{eqnarray}
\hat \beta_1 &\sim& N(\beta_1,\sigma^2 (\frac{1}{n} + \frac{\bar x^2}{S_{xx}}))\\
\hat \beta_2 &\sim& N(\beta_2,\sigma^2 \frac{1}{S_{xx}})\\
\end{eqnarray}
となる。
よって、
\begin{eqnarray}
\frac{\frac{\hat \beta_2 - \beta_2}{\sqrt{\sigma^2 / S_{xx}}}}{\sqrt{\frac{\Sigma e_i ^2}{\sigma^2}}} \sim \frac{N(0,1)}{\sqrt{\chi^2(n-p)}} =t(n-2)\\
\therefore
\frac{ (\hat \beta_2 - \beta_2) \sqrt{S_{xx}}}{\sqrt{\Sigma e_i ^2} } \sim t(n-2)
\end{eqnarray}
となり、$\hat \beta_2$の検定を行うことができる。
$t$検定量の2乗は、$F$検定量になる。
帰無仮説として「$\beta_2 = 0$」を定める。つまり、「$y$は$x$によらない」という仮定だ
先ほどの$t$検定量を求めて、棄却位置にあるかを調べるということになる。
\frac{ \hat \beta_2 \sqrt{S_{xx}}}{\sqrt{\Sigma e_i ^2} } \sim t(n-2)
二乗してF検定量を出すと
\begin{eqnarray}
\frac{ \hat \beta_2^2 S_{xx}}{\Sigma e_i ^2 } &\sim& F(1,n-2)\\
(左辺 分子) &=& \sum ( \hat \beta_2 (x_i - \bar x))^2\\
&=& \sum ( \hat \beta_2 x_i - \hat \beta_2 \bar x))^2\\
&=& \sum ( (\hat \beta_ 1 + \hat \beta_2 x_i) - (\hat \beta_ 1 + \hat \beta_2 \bar x )))^2\\
&=& \sum ( \hat y_i - \bar y)^2\\
\therefore \frac{\sum ( \hat y_i - \bar y)^2}{\Sigma e_i ^2 } &\sim& F(1,n-2)\\
\therefore \frac{\sum ( \hat y_i - \bar y)^2}{\Sigma (y_i - \hat y_i )^2 } &\sim& F(1,n-2)\\
\end{eqnarray}
とりあえず、F分布になることまで証明できたので満足である。