はじめに
Deep Learningは非常に強力なモデルを作れる一方で、
学習データに対して過剰に適合（過学習）することがあります。
これを防ぐために用いられる手法の一つが「正則化（Regularization）」です。
この記事では、Deep Learning初心者向けに、
正則化の基本概念とその代表的な手法である「L1正則化」「L2正則化」について解説し、
Pythonでの具体的な実装例を紹介します。
正則化とは
正則化とは、モデルの複雑さに制約を設けて過学習を防ぐための手法です。
Deep Learningモデルはパラメータ（重み）を多く持つため、
訓練データに対して非常に柔軟に適合できますが、
その結果、未知のデータに対する予測性能が落ちることがあります。
これが過学習です。
正則化は、モデルの重みにペナルティを与えることでモデルの複雑さを抑え、
一般化性能（未知データへの対応能力）を向上させます。
L1正則化
L1正則化（Lasso Regularization）は、
重みの絶対値の合計をペナルティ項として損失関数に加えます。
具体的には次のような損失関数となります。
$$\text{損失関数（L1）} = \text{元の損失関数} + \lambda \sum |w|$$
- $\lambda$：正則化係数（大きいほど正則化が強くなる）
- $\sum |w|$：全重みの絶対値の合計（L1ノルム）
L1正則化の特徴は、「重みが0になる」ことです。
これにより重要でない特徴量を自動的に選択（特徴選択）する効果があります。
L2正則化
L2正則化（Ridge Regularization）は、
重みの二乗の合計をペナルティ項として損失関数に加えます。
具体的には次のようになります。
$$\text{損失関数（L2）} = \text{元の損失関数} + \lambda \sum w^2$$
- $\lambda$：正則化係数（大きいほど正則化が強くなる）
- $\sum w^2$：全重みの二乗の合計（L2ノルム）
L2正則化は、全体の重みが小さくなるように調整します。
そのため、特徴選択の効果は弱いですが、過学習を抑える効果が高いです。
Deep LearningにおけるL2正則化
Deep Learningでは一般にL2正則化がよく利用されます。
特にニューラルネットワークは重みの数が非常に多いため、
過学習を防ぐためには適度なL2正則化が有効です。
Kerasを用いた具体的な実装例を示します。
Pythonでの実装例
import tensorflow as tf
from tensorflow.keras import layers, models, regularizers
# モデルの定義
model = models.Sequential([
layers.Dense(64, activation='relu', kernel_regularizer=regularizers.l2(0.01)),
layers.Dense(32, activation='relu', kernel_regularizer=regularizers.l2(0.01)),
layers.Dense(1, activation='sigmoid')
])
model.compile(optimizer='adam',
loss='binary_crossentropy',
metrics=['accuracy'])
model.summary()
上記のkernel_regularizer=regularizers.l2(0.01)の部分で、
L2正則化を設定しています。
係数0.01は調整が可能です。
大きくすると強力な正則化、小さくすると弱い正則化になります。
重みが大きいとモデルが複雑な理由
重みが大きくなると、モデルは特定の入力に強く反応するようになります。
その結果、微小な変化にも敏感に反応してしまい、
ノイズや偶然のパターンにも対応しようとします。
これが「複雑なモデル」となり、過学習を引き起こします。
逆に、重みを小さく抑えることで、入力に対して滑らかな反応を示し、ノイズに強くなります。
これにより一般化性能が向上します。
Pythonでの実装例（詳細版）
先ほどのモデルに対して、実際にデータを用いて学習する例を示します。
# データセットの準備（例として架空のデータ）
import numpy as np
# 入力データ（100サンプル、20特徴量）
X = np.random.rand(100, 20)
# 出力データ（2クラス分類）
y = np.random.randint(0, 2, 100)
# モデルの定義（L2正則化）
model = models.Sequential([
layers.Dense(64, activation='relu', kernel_regularizer=regularizers.l2(0.01)),
layers.Dense(32, activation='relu', kernel_regularizer=regularizers.l2(0.01)),
layers.Dense(1, activation='sigmoid')
])
model.compile(optimizer='adam',
loss='binary_crossentropy',
metrics=['accuracy'])
# モデルの学習
history = model.fit(X, y, epochs=20, batch_size=16, validation_split=0.2)
応用：各層で異なる重みを設定する
実際には各層で正則化の強さを調整できます。
例えば、入力層に近い層ほど弱く、
出力層に近い層ほど強く設定するといった方法もあります。
model = models.Sequential([
layers.Dense(64, activation='relu', kernel_regularizer=regularizers.l2(0.001)),
layers.Dense(32, activation='relu', kernel_regularizer=regularizers.l2(0.01)),
layers.Dense(16, activation='relu', kernel_regularizer=regularizers.l2(0.1)),
layers.Dense(1, activation='sigmoid')
])
こうすることで、層ごとに適した複雑さを調整できます。
まとめ
この記事ではDeep Learning初心者向けに、
正則化の基本的な考え方と具体的な実装例を紹介しました。
- 正則化とは：過学習を防ぎ、一般化性能を向上させるための手法。
- L1正則化：特徴選択効果がある。
- L2正則化：一般的に利用され、モデルの重みを小さく保つ。
- Deep LearningにおいてはL2正則化が広く使われる。
- 層ごとに正則化の強さを調整することも可能。
実際のモデル開発時には、正則化係数を調整（チューニング）しながら、
モデルの性能を向上させましょう。