ある入力（離散あるいは連続地）から出力（連続値）を予測する問題

直線で予測→線形回帰
曲線で予測→非線形回帰

入力（各要素を説明変数または特徴量と呼ぶ）

説明変数　

X=(x_1,x_2,...,x_m)^T \in \mathbb{R}^m

目的変数

y\in\mathbb{R}^1

パラメータ

X=(x_1,x_2,...,x_m)^T \in \mathbb{R}^m

線形結合

\hat{y} = w^Tx+w_0=\sum_{j=1}^{m}w_jx_j+w_0

単回帰モデルと呼ぶ

データは回帰直線に誤差が加わり観測されていると仮定

-連立方程式

それぞれのデータをモデル式へ当てはめるとｎ個の式が導出される。

学習用データ：機械学習モデルの学習に利用するデータ
検証用データ：学習済みモデルの精度を検証するためのデータ

モデルの汎化性能(Generalization)を測定するため

データへの当てはまりの良さではなく、未知のデータに対してどれくらい精度が高いかを測りたい。

データとモデル出力の二乗誤差の和

パラメータのみに依存する関数
データは既知の値でパラメータのみ未知

学習データの平均二乗誤差の最小化は、その勾配が０になる点を求めれば良い

*二乗損失は一般に外れ値に弱い→Huber損失,Tukey損失

\hat{w}=\underset{w \in \mathbb{R}}{\textrm{arg minMSE_tarin}}

MSEをWに関して微分したものが０となるWの点を求める

\frac{\partial}{\partial w}MSE_{tarin}=0

回帰係数

\hat{w} = (X^{(train)T}X^{(train)})^{-1}X^{(train)T}y^{(train)}

予測値

\hat{y} = \underset{n_{new×m+1}}{X}(X^{(train)T}X^{(train)})^{-1}X^{(train)T}y^{(train)}

ボストンの住宅データデットを線形回帰モデルで分析