0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

最小二乗法

Last updated at Posted at 2023-08-01

最小二乗法(Least Squares Method,LSM)の線形代数的な解釈

説明変数が1つの場合

$n$個の観測データがあり、$i$番目のデータを$\left(x_i, y_i\right)$と書くことにする。
今、このデータを以下のモデルに回帰させることを考える。

y_i = \beta_0 + \beta_1 x_i

回帰係数を求めるためには、以下の残差平方和を最小化すればよく、

\begin{align*}
\sum_{i=1}^{n} \left( y_i - \hat{y_i} \right)^2 &= \sum_{i=1}^{n} \left(y_i - \left(\beta_1x_i+\beta_0\right)\right)^2\\
\end{align*}

これを回帰係数でそれぞれ偏微分したものが0になるようにすればよく、連立方程式を解くことによって


\begin{align*}
\beta_0 &= \frac{\sigma_{xy}}{\sigma_x^2}\\
\beta_1 &= \bar{y} -\beta_0\bar{x}
\end{align*}

説明変数が2つ以上の場合

X=\begin{pmatrix}
1 & x_{11} & \cdots & x_{1k}\\
1 & x_{21} & \cdots & x_{2k}\\
\vdots & \vdots & \ddots & \vdots\\
1 & x_{m1} & \cdots & x_{mk}
\end{pmatrix}
,\
\boldsymbol{\mathrm{β}}=
\begin{pmatrix}
\beta_1 \\
\beta_2 \\
\vdots \\
\beta_k\\
\end{pmatrix}
,\
\mathrm{\boldsymbol{y}}=
\begin{pmatrix}
y_1\\
y_2\\
\vdots \\
y_m\\
\end{pmatrix}

とおくと、回帰モデルは以下のように表すことができる。

\mathrm{\boldsymbol{y}} =X\boldsymbol{\mathrm{β}}

回帰係数の推定量の実現値は

\hat{\boldsymbol{\mathrm{β}}}=\left(X^TX\right)^{-1}X^T \mathrm{\boldsymbol{y}}

と書くことができる。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?