#1.はじめに
今回は、ノルムと正則化についてまとめます。
#2.ノルム
ベクトルの大きさを計算する場合、ノルムという計算式を使います。ノルム$L^p$の一般式は、下記の様に表せます。
P=2である$L^2$ノルムは、ユークリッド距離と呼ばれ、
P=1である$L^1$ノルムは、マンハッタン距離と呼ばれ、
#3.正則化
機械学習において、コスト関数にペナルティ項を加えて、コスト関数＋ペナルティ項の和を最小化する形にすることで、過学習の抑制や次元削減の効果が期待できます。
1)L2正則化
$min_wf(x)+\frac{\lambda}{2}\sum_{i=1}^n|w_i|^2$
損失関数＋L2正則化項の合計を最小化するパラメータ$w_i$を求めることで、過学習の抑制効果が得られます。線形回帰の場合は、Lidge回帰と呼ばれます。
2)L1正則化
$min_wf(x)+\lambda\sum_{i=1}^n|w_i|$
損失関数＋L1正則化項の合計を最小化するパラメータ$w_i$を求めることで、次元削減効果が得られます。線形回帰の場合は、Rasso回帰と呼ばれます。