L1ノルムとL2ノルム

L1ノルム

• 定義: ベクトルの各要素の絶対値の和
• 数式: ||x||₁ = Σ|xᵢ|
• 別名: マンハッタンノルム
• 特徴:
  • スパースな解を生成しやすい
  • 特徴選択に有効　→高次元の入力データを扱う際に特に有用
  • 外れ値に対してロバスト　→異常検知タスクに有用
• ML, DLにおける利用例:
  • 過学習抑制：L1正則化
  • 生成モデル：鮮明な画像生成・・・生成画像と真の画像間の絶対誤差を最小化

L2ノルム

• 定義: ベクトルの各要素の二乗和の平方根
• 数式: ||x||₂ = √(Σxᵢ²)
• 別名: ユークリッドノルム
• 特徴:
  • 解析的な解が存在する
  • 計算効率が良い
  • 多くの場合、より安定した解を生成
• ML, DLにおける利用例:
  • 過学習抑制：Weight decay・・・正則化手法
  • RNN：勾配クリッピング・・・勾配爆発対策

主な違い

1. スパース性:

   • L1ノルムは疎な解(多くの要素が0)を生成しやすい
   • L2ノルムは密な解を生成する傾向がある

2. 特徴選択:

   • L1ノルムは自動的に特徴選択を行う
   • L2ノルムは全ての特徴を保持する

3. 外れ値への感度:

   • L1ノルムは外れ値の影響を受けにくい
   • L2ノルムは外れ値に敏感

4. 解の一意性:

   • L1ノルムは必ずしも一意の解を持たない
   • L2ノルムは通常一意の解を持つ

5. 計算効率:

   • L1ノルムは解析的な解が存在しないため、計算が複雑になることがある
   • L2ノルムは解析的な解が存在し、効率的に計算できる

目的に応じてL1ノルムまたはL2ノルムが選択される。
例えば、特徴選択が重要な場合はL1正則化、モデルの安定性が重要な場合はL2正則化が用いられることが多い。