はじめに
今回は統計検定2級の最小二乗法を学んでいきます。
前回、単回帰分析で最小二乗法で割り出しました。そういえば、最小二乗法ってなんだっけ、あー、そうだそうだとなることが多かったので、記事にしていこうと思います！！
🎯 最小二乗法（さいしょうにじょうほう）とは？
💡 定義
最小二乗法とは、観測データと回帰直線とのズレ（二乗誤差）を最小にすることで、
回帰式（例：$y = \beta_0 + \beta_1 x$）の係数 $\beta_0$, $\beta_1$ を求める方法です。
🧠 目的
データ点 $(x_i, y_i)$ が与えられたとき、直線の予測値 $\hat{y}_i = \beta_0 + \beta_1 x_i$ との誤差をできるだけ小さくする。
このときの「誤差」は：
$$
e_i = y_i - \hat{y}_i
$$
定義だけ聞くと難しく感じる？んですが、大した話じゃないです。実測値をいくつか取り、大体こんな傾向だよねって、数直線を引く。その時に、どこら辺に線を引けばいいんだろうってはなしになります。
で、大体この辺かなってところを見つけるためのもの。数直線を引いた時に、数直線からの差の合計が一番小さくなるように引こうねって考え。ただ、そのまま差を足すとプラスがマイナスを打ち消してしまうので、2乗しておこうぜって考え
🔢 最小にしたい指標（目的関数）：
$$
\text{誤差の二乗和} = \sum_{i=1}^{n} (y_i - (\beta_0 + \beta_1 x_i))^2
$$
この二乗誤差が最小になるように、$\beta_0$ と $\beta_1$ を選ぶ。
❓ なぜ「二乗」するのか？
- 正負の誤差が打ち消しあわないようにするため（単なる合計ではダメ）
- 絶対値よりも数学的に扱いやすい（微分できる）ため
✅ 最小二乗法の解で得られる公式：
傾き $\beta_1$：
$$
\beta_1 = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2}
$$
切片 $\beta_0$：
$$
\beta_0 = \bar{y} - \beta_1 \bar{x}
$$
最小二乗法は、単回帰分析だけでなく、重回帰分析、時系列、機械学習（線形回帰）など幅広く使われる基本手法です。