正規方程式(アプローチ1)
説明変数が二つの重回帰方程式
y_i = \beta{x_i} + \gamma{z_i}+ \alpha
について、n個のデータが得られているとする。
推定誤差の2乗和は以下のように表現される。
\sum u_i^2= \sum (y_i-\beta x_i-\gamma z_i-\alpha)^2
この2乗和を偏微分して0とおくと(最小化問題)
\displaylines{
\frac{\partial}{\partial \alpha}\sum u_i^2=\sum2(y_i -\alpha -\beta x_i -\gamma z_i)(-1)=0\\
\frac{\partial}{\partial \beta}\sum u_i^2=\sum2(y_i -\alpha -\beta x_i -\gamma z_i)(-x_i)=0\\
\frac{\partial}{\partial \gamma}\sum u_i^2=\sum2(y_i -\alpha -\beta x_i -\gamma z_i)(-z_i)=0\\
}
各方程式を展開して移項すると回帰係数 $\hat{\alpha},\quad\hat{\beta},\quad \hat{\gamma}$ について、以下の正規方程式が成り立つ。
\displaylines{
n\hat{\alpha} +\hat{\beta} \sum x_i +\hat{\gamma} \sum z_i = \sum y_i \\
\hat{\alpha}\sum x_i +\hat{\beta} \sum x_i^2 +\hat{\gamma} \sum z_ix_i = \sum y_ix_i \\
\hat{\alpha}\sum z_i +\hat{\beta} \sum x_i z_i +\hat{\gamma} \sum z_i~2 = \sum y_iz_i \\
}
3つの未知の回帰係数について、3つの方程式が成り立ち、この連立方程式を解くことで、各係数を導出できる。
正規方程式(アプローチ2)
誤差の平均は0、誤差と各説明変数は独立である必要があるため、以下の条件を満たす。
\displaylines{
\sum u_i= \sum (y_i-\beta x_i-\gamma z_i-\alpha)=0 ①\\
\sum u_ix_i= \sum (y_i-\beta x_i-\gamma z_i-\alpha)x_i=0 ②\\
\sum u_iz_i= \sum (y_i-\beta x_i-\gamma z_i-\alpha)z_i=0 ③
}
これらの式は上述の正規方程式と同じである。
ゆえに、誤差の最小化問題を解いて最適な係数を求めるアプローチと、誤差の平均はゼロという条件、誤差と各説明変数が独立であるという直交条件を満たすように係数を選択するアプローチは同値である。
最小化問題の文脈では、誤差の平均が0という条件を満たすように定数項αが求められ、誤差と各説明変数が独立であるという条件を満たすように各係数が求められる。
正規方程式と誤差二乗和
①式を展開しnで割ると
\displaylines{
\sum y_i-\beta \sum x_i-\gamma \sum z_i-n\alpha=0\\
\bar{y}=\beta \bar{x}+\gamma \bar{z}+\alpha\\
}
よって$\alpha=\bar{y}-\beta \bar{x}-\gamma \bar{z}$ を $u_i=y_i-\beta x_i-\gamma z_i-\alpha$に代入して
\displaylines{
u_i=y_i-\beta x_i-\gamma z_i-(\bar{y}-\beta \bar{x}-\gamma \bar{z})\\
u_i=(y_i-\bar{y})-\beta(x_i-\bar{x})-\gamma(z_i-\bar{z}) ④\\
}
①、②式より、$\sum u_i=0$かつ$\sum u_ix_i=0$ならば$\sum u_i(x_i-\bar{x})=0$である。
また、同様に①、③式より同様に$\sum u_i(z_i-\bar{z})=0$である。
ゆえに、④式を用いて誤差二乗和は以下のよう算出される。
\displaylines{
\sum \hat u_i^2=\sum u_i\{(y_i-\bar{y})-\beta(x_i-\bar{x})-\gamma(z_i-\bar{z})\}\\
=\sum u_i(y_i-\bar{y})\\
=\sum \{(y_i-\bar{y})-\beta(x_i-\bar{x})-\gamma(z_i-\bar{z})\}(y_i-\bar{y})\\
}
よって、
\displaylines{
\sum \hat u_i^2=\sum (y_i-\bar{y})^2-\beta\sum (x_i-\bar{x})(y_i-\bar{y})\\-\gamma\sum (z_i-\bar{z})(y_i-\bar{y}) ⑤
}
⑤式は全変動(SST)から各説明変数によって説明できた部分(SSR)を除いたものである。
正規方程式が成立することにより、被説明変数の分散、説明変数の共分散、推定された回帰係数を用いた形に誤差2乗和が整理される。
また、回帰式の説明力を評価する指標である自由度修正済み決定係数は以下のように算出される。
\displaylines{
\bar R^2=1-\frac{\sum \hat u_i^2/(n-3)}{\sum(y_i-\bar{y})^2/(n-1)}
}
この式は1-(各説明変数で説明できなかった部分の割合)という構図となっている。
回帰式では係数と定数項は3つある。そのため、分子の誤差2乗和をn-3で割っている。
一般的に説明変数が多くなるほど、誤差は小さくなる。
係数の数の増加(説明変数の数が増加)に伴う説明力の過大評価を抑制するため、係数(説明変数)の増加に伴って決定係数を減少させるペナルティを与えている。