回帰モデルで扱われる残差二乗和(誤差)の式の備忘録メモ
線形回帰の残差二乗和
\sum_{i=1}^{n} (y_i - \hat{y}_i)^2
ラッソ回帰の残差二乗和
\sum_{i=1}^{n} (y_i - \hat{y}_i)^2 + \alpha \sum_{k=1}^{d} |\omega_k|
$$\alpha: 正則化項, \sum_{k=1}^{d} |\omega_k|: 切片以外の全てのパラメータの絶対値の和$$
scikit-learnの場合
scikit-learnでは以下の式が残差二乗和として用いられている。
\sum_{i=1}^{n} (y_i - \hat{y}_i)^2 + 2 \cdot n \cdot \alpha \sum_{k=1}^{d} |\omega_k|
リッジ回帰の残差二乗和
\sum_{i=1}^{n} (y_i - \hat{y}_i)^2 + \alpha \sum_{k=1}^{d} |\omega_k|^2
$$\alpha: 正則化項, \sum_{k=1}^{d} |\omega_k|: 切片以外の全てのパラメータの絶対値の二乗の和$$