JDLA_E資格の機械学習「L1ノルム、L2ノルム」

初めに

機械学習で出てくるL1ノルム、L2ノルムなるものが当然の如く使われていて理解できなかったため少し調べたので整理。

ノルムとは

ノルムとは、そもそも平面、空間におけるベクトルの長さの「大きさ」を表すための概念である。

ベクトル空間に「距離」を与えるための数学の道具である。

\overrightarrow{x}=(x_1,x_2,\cdots, x_n) \\

ベクトル $\overrightarrow{x}$が上記のようにあるとき、L1ノルムとは、

L_1 = | x_1 | + |x_2| + \cdots + |x_n|

これはマンハッタン距離といわれる。

また、L2ノルムは、

L_2 = \sqrt {x_1^2 + x_2^2 + \cdots + x_n^2}

これは、ユークリッド距離である。

これらL1とL2を図示すると、

正則化のところで勉強したLasso推定とRidge推定のところで出てきたひし形と丸の意味がこれでつながった。