最小二乗法(Least Squares Method,LSM)の線形代数的な解釈
説明変数が1つの場合
$n$個の観測データがあり、$i$番目のデータを$\left(x_i, y_i\right)$と書くことにする。
今、このデータを以下のモデルに回帰させることを考える。
y_i = \beta_0 + \beta_1 x_i
回帰係数を求めるためには、以下の残差平方和を最小化すればよく、
\begin{align*}
\sum_{i=1}^{n} \left( y_i - \hat{y_i} \right)^2 &= \sum_{i=1}^{n} \left(y_i - \left(\beta_1x_i+\beta_0\right)\right)^2\\
\end{align*}
これを回帰係数でそれぞれ偏微分したものが0になるようにすればよく、連立方程式を解くことによって
\begin{align*}
\beta_0 &= \frac{\sigma_{xy}}{\sigma_x^2}\\
\beta_1 &= \bar{y} -\beta_0\bar{x}
\end{align*}
説明変数が2つ以上の場合
X=\begin{pmatrix}
1 & x_{11} & \cdots & x_{1k}\\
1 & x_{21} & \cdots & x_{2k}\\
\vdots & \vdots & \ddots & \vdots\\
1 & x_{m1} & \cdots & x_{mk}
\end{pmatrix}
,\
\boldsymbol{\mathrm{β}}=
\begin{pmatrix}
\beta_1 \\
\beta_2 \\
\vdots \\
\beta_k\\
\end{pmatrix}
,\
\mathrm{\boldsymbol{y}}=
\begin{pmatrix}
y_1\\
y_2\\
\vdots \\
y_m\\
\end{pmatrix}
とおくと、回帰モデルは以下のように表すことができる。
\mathrm{\boldsymbol{y}} =X\boldsymbol{\mathrm{β}}
回帰係数の推定量の実現値は
\hat{\boldsymbol{\mathrm{β}}}=\left(X^TX\right)^{-1}X^T \mathrm{\boldsymbol{y}}
と書くことができる。