1.はじめに

単回帰分析におけるL1正則化（Lasso正則化）とL2正則化（Ridge正則化）に関する記事を以下に示します。この記事では、それぞれの正則化手法の概要、用途、メリット、デメリットなどを説明します。

2. L1正則化とL2正則化

単回帰分析とは

単回帰分析は、1つの説明変数と1つの目的変数の関係を調査する統計的手法です。目的は、説明変数と目的変数の間の関係をモデル化し、説明変数から目的変数を予測するモデルを構築することです。

L1正則化（Lasso正則化）

L1正則化（Lasso正則化）は、単回帰分析において、モデルの係数を0にする傾向がある正則化手法です。これはスパース性を持つモデルを促進し、不要な説明変数を選別するのに役立ちます。
$$ E(w) = \frac{1}{N} \left(\sum_{i=1}^{N} {(y_i - (\mathbf{x}_i ^T\mathbf{w}))^2}\right) + λ (\sum^{D} {|w_j|}) $$

ここで、

w はパラメータのベクトル
$N$ はデータポイントの数
$y_i$ は i 番目の観測値
$\mathbf{x}_i$ は i 番目の説明変数のベクトル
$p$ は説明変数の数
$λ$ はL1正則化の強度パラメータ
$D$ はwの要素数
L1正則化項は $|w_j|$ で表され、各係数 $w_j$ の絶対値を足し合わせます。この項によって、係数が0に収束し、スパースなモデルが生成されます。

用途

多くの説明変数がある場合、L1正則化を使用して特徴選択を行い、モデルを単純化することができます。ノイズの影響を減らすために使われることがあります。

メリット

スパースなモデルを生成し、不要な説明変数を排除できます。不要な説明変数を削除することで人間に分かりやすい特徴量を見つけることや、計算量の軽減を行うことができます。また、過学習のリスクを減少させることができます。

デメリット

ハイパーパラメータ（正則化の強度）を調整する必要があります。小さすぎると正則化が行われず、大きすぎると機械学習の精度が落ちます。

L2正則化（Ridge正則化）

L2正則化（Ridge正則化）は、単回帰分析において、モデルの係数を0にする傾向が少なく、係数を均等に縮小します。これは共線性（説明変数間の相関）の影響を軽減するのに役立ちます。
$$ E(w) = \frac{1}{N} \left(\sum_{i=1}^{N} {(y_i - (\mathbf{x}_i ^T\mathbf{w}))^2}\right) + λ (\sum^{D} {|w_j|^2}) $$

用途

説明変数間に高い相関がある場合、L2正則化を使用して共線性を軽減できます。モデルの過学習を制御するために使われることがあります。

メリット

共線性の影響を軽減し、安定したモデルを生成します。
ハイパーパラメータの調整が比較的簡単です。

デメリット

スパース性を持つモデルを生成しづらい場合があります。

3.まとめ

L1正則化（Lasso正則化）とL2正則化（Ridge正則化）は、単回帰分析において過学習や共線性の問題に対処するための強力な手法です。正則化を適切に選択し、モデルの性能を向上させるために活用しましょう。