Go to Qiita Advent Calendar 2024 Top
LoginSignup
2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

@nanoneko

L1ノルム，L2ノルム

Posted at

基本的な事項で恐縮だが，L1ノルムとL2ノルムの違いを意識する必要がある場面に遭遇したため，メモ．

  • 一般的には過学習を防ぐための正則化項として用いられている
  • GANでもpix2pixなどで極端な画像を生成しないように使う．正則化的に．

L1ノルム

image.png
image.png

  • マス目上で考える距離
    image.png

image.png

  • この例ではw1=0である．疎な解，スパースになりやすい．
  • ゆえに，次元削減，余分な説明変数を省くことができる

L2ノルム

image.png

  • 始点と終点を結んだ距離
    image.png
    image.png

  • L2はL1よりも表現力が高い

  • ゆえにL2はL1よりも精度が高い

  • ただし，次元削減の効果はない．

結論

  • L1正則化もL2正則化も，過学習を抑制する（パラメータが大きくなりすぎないようにする）
  • L2正則化の方がL1正則化よりも過学習をうまく抑制する（表現力が豊かなため）
  • L1正則化により疎な解を得られる可能性が高く，次元削減の効果がある
2
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?