#線形回帰モデル
- 回帰問題（ある離散的な入力から出力を直線で予測する問題）を解くための機械学習モデルの一つ
- 教師あり学習
- 入力と$m$次元パラメータの線形結合を出力する
- 説明変数が1次元の場合($m=1$の場合)、単回帰モデル(直線)と呼ぶ
- 説明変数が多次元($m>1$)の場合、線形重回帰モデル(曲面)
- パラメータは最小二乗法で推定する
【説明変数】
$$\boldsymbol{x}=(x_1, _2, \cdots, x_m)^T\in\mathbb{R}^m$$
【目的変数】
$$y\in\mathbb{R}^1$$
【教師データ】
$$\{ (\boldsymbol{x_i}, y_i);i=1, 2, \cdots , n \}$$
$\boldsymbol{x}$：説明変数
$y$：目的変数
$n$：教師データのデータ数
【パラメータ】
$$\boldsymbol{w}=(w_1, w_2, \cdots, w_m)^T \in \mathbb{R}^m$$
$m$：パラメータの次元数
【線形結合】
\hat{y}=\boldsymbol{w}^T \boldsymbol{x}+w_0 = \sum_{j=1}^{m}w_jx_j+w_0
$\hat{y}$：予測値
$\boldsymbol{w}^T$：モデルのパラメータ
$w_0$：切片
$m$：説明変数、パラメータの次元数
【最小二乗法】
MSE=\frac{1}{n} \sum_{i=1}^{n}\left\{\hat{y}_i-y_i\right\}^2
【回帰係数】
$$\hat{w} = (X^TX)^{-1}X^T\boldsymbol{y}$$
【予測値】
$$\hat{y} = X(X^TX)^{-1}X^T\boldsymbol{y}$$
【単回帰モデル】
$$y=w_0+w_1x_1+\epsilon$$
$y$：目的変数
$w_0$：切片
$w_1$：回帰係数
$x_1$：説明変数
$\epsilon$：誤差
【重回帰モデル】
$m=2$の場合
$$y=w_0+w_1x_1+w_2x_2+\epsilon$$
一般に
y=w_0 + \sum_{i=1}^{m} w_i x_i+\epsilon
#非線形回帰モデル
複雑な非線形構造を内在する現象に対して適用される機械学習モデルの一つ
【基底展開法】
- 回帰関数として、基底関数と呼ばれる既知の非線形関数とパラメータベクトルの線形結合を使用
- 未知パラメータは最小二乗法や最尤法により推定
○基底関数と呼ばれる既知の非線形関数
$$ y_i = f(\boldsymbol{x_i}) + \epsilon_i $$
○パラメータベクトルの線形結合
$$ y_i = w_0 + \sum_{j=1}^{m} w_j\phi_j(\boldsymbol{x_i}) + \epsilon_i $$
【非線形回帰モデル関数】
$$ y_i = f(\boldsymbol{x_i}) + \epsilon_i= w_0 + \sum_{j=1}^{m} w_j\phi_j(\boldsymbol{x_i}) + \epsilon_i $$
$y_i$：目的変数
$w_0$：切片
$w_i$：回帰係数
$\phi(\boldsymbol{x_i})$：基底関数
$\boldsymbol{x_i}$：説明変数
$\epsilon_i$：誤差
【よく用いられる基底関数】
○多項式関数
$$ \phi_j(x) = x^j $$
○ガウス型基底
$$ \phi_j(x) = exp \left{ \cfrac{(x - \mu_j)^2}{2h_j} \right} $$
$$ \phi_{j}(x) = exp \left{ \dfrac{(x - \mu_{j})^{2}}{2h_{j}} \right} $$
$$ a \left{ \frac{1}{2} \right] $$
am
【説明変数】
$$ \boldsymbol{x_i} = (x_{i1}, x_{i2}, \cdots, x_{im}) \in \mathbb{R}^m $$
$m$：説明変数の次元数
【非線形関数ベクトル】
$k$次元の特徴ベクトル
$\phi_1$〜$\phi_k$の写像で変換する
$$ \boldsymbol{\phi}(\boldsymbol{x_i}) = (\phi_1(\boldsymbol{x_i}), \phi_2(\boldsymbol{x_i}), \cdots, \phi_k(\boldsymbol{x_i}))^T \in \mathbb{R}^k $$
$k$：基底関数の数
【非線形関数の計画行列】
$$ \Phi^{(train)} = (\boldsymbol{\phi}(x_{1}), \boldsymbol{\phi}(x_{2}), \cdots , \boldsymbol{\phi}(x_{n})) \in \mathbb{R}^{n \times k} $$
【最尤法による予測値】
$$ \hat{y} = \Phi(\Phi^{(train)T}\Phi^{(train)})^{-1}\Phi^{(train)T} \boldsymbol{y}^{(train)} $$