前回記事
参考本
多変量解析入門 小西貞則著 岩波書店
最小2乗推定量の性質
$\hat{\boldsymbol \beta}$は予測値ベクトル、$\boldsymbol \beta$は回帰係数ベクトル、さらに$\boldsymbol y = X \boldsymbol \beta + \boldsymbol \epsilon$としよう。
$E[\boldsymbol y]= E[X\boldsymbol \beta + \epsilon]= E[X\boldsymbol \beta] + E[\epsilon]= X\boldsymbol \beta$
$$E[({\boldsymbol y} - X \boldsymbol \beta)({\boldsymbol y} - X\boldsymbol \beta)^T]= E[\boldsymbol \epsilon \boldsymbol \epsilon^T]=\sigma^2I$$
となる.
以下の通りに定義できる。(vol.1を参照。)
$\hat{\boldsymbol \beta} = X(X^{T}X)^{-1}X^{T} \boldsymbol \beta$
$E[\hat{\boldsymbol \beta}]=X(X^{T}X)^{-1}X^{T}E[\boldsymbol \beta]$
分散共分散行列を指す変換$\rm{cov}$について
$$\rm{cov}(\boldsymbol \beta)=E[(\hat{\boldsymbol \beta} - \boldsymbol \beta)(\hat{\boldsymbol \beta} - \boldsymbol \beta)^T]= (X^{T}X)^{-1}X^{T}E[(\boldsymbol y - X\boldsymbol \beta)(\boldsymbol y - X\boldsymbol \beta)^T X(X^{T}X)^{-1}= \sigma^2(X^TX)^{-1}$$
※途中で転置をとったことに注意。また(X^{T}X)は対称行列。
最小2乗推定量$ \hat{\boldsymbol \beta}$の期待値は、推定しようとするパラメータである回帰係数ベクトル$\boldsymbol \beta$に等しい。
こういった$\hat{\boldsymbol \beta}$を$\boldsymbol \beta$の不偏推定量である、という。
一般に、確率ベクトル$\boldsymbol y$の線形結合で表される任意の不偏推定量を$\hat{\boldsymbol \beta} = C\boldsymbol y$, $C$は定数行列(正方行列とは限らない)とする。最小2乗推定量は、$C=(X^TX)^{-1}X^T$とした推定量であった。
最小2乗推定量は、変動が最も小さいことが以下の定理によって保障されている。
ガウス・マルコフの定理
任意の線形不偏推定量$\tilde{\boldsymbol \beta}$、要は$\boldsymbol \beta$の線形変換に対して
$$\rm{cov}(\tilde{\boldsymbol \beta}) \geq \rm{cov}(\hat{\boldsymbol \beta}) $$
が成立する.
何やら仰々しく感じるかもしれないが、多次元だろうが誤差ベクトルの$L^2$ノルム（高校課程のベクトルの長さ）が一番小さくなるように$\hat{\boldsymbol \beta}$を設定することができる、ということである。
解説
行列の大小は正方行列$A$, $B$に対して
$$A-B$$が非負値定符号行列(semi-positive definite (value) matrix)である、とは
2次形式のトピックであるが、以下の通りである.
正方行列のサイズを$n$として次元$n$である任意のベクトル$\boldsymbol x$に対し
$$\boldsymbol x^T(A-B)\boldsymbol x \geq 0 \Rightarrow A \geq B$$
例えば
$x^2+y^2$の, ベクトルを
$\boldsymbol a = \begin{pmatrix}x \\ y \end{pmatrix}$,
計量行列は
$M= \begin{pmatrix}1 & 0 \\ 0 & 1 \end{pmatrix}$
とすれば、
$\boldsymbol a^T M \boldsymbol a$と表示でき、実数上、$(0, 0)$以外では0より大きい。こういったケースの行列を正定値であるといい、$(0, 0)$以外では0以上であることを半正定値、もしくは非負値の行列であるという。負定値、半負定値も同様に定義できる（例、終わり）
証明は佐和（1979, p63）,東京大学教養学部統計学教室編を参照のこと。
vol.3に続く。