データの前処理する時、よく標準化と正規化をどちら使うか困ったりするので、
自分の経験と感想を軽く整理してメモします。
標準化とは?
標準化(Standardization)とは元のデータ集合がどのような分布でも、
「平均値0、標準偏差1」の分布にする変換です。
z_i = \frac{x_i-\bar{x}}{s}
$x_i:$ 元のデータ
$\bar{x}:$ 元のデータの平均
$s:$ 元のデータの標準偏差
正規化とは?
正規化(Normalization)とは元のデータ集合を「0~1」に抑える変換です。
x_i' = \frac{x_i-x_{min}}{x_{max}-x_{min}}
使うシーン
簡単に言うと
1. データの分布を知りたい時は標準化(Standardization)を使います
例えば、クラスのある生徒Chenの英語成績を調査するとします。
満点が100点の中、60点は低いと思うかもしれないですが、
本当は標準化の分布を見ないとわからないですね。
| 科目 | 名前 | 成績(標準化前) | 成績(標準化後) |
|---|---|---|---|
| 英語 | Bob | 40 | -1.22 |
| 英語 | James | 53 | -0.08 |
| 英語 | Kevin | 44 | -0.87 |
| 英語 | Tanaka | 55 | 0.08 |
| 英語 | Sato | 72 | 1.56 |
| 英語 | Chen | 60 | 0.52 |
Chenの成績(標準化後)を見たら、0.51は低くないことがわかります。
データが少ない場合は目で判断しても問題ないですが、多くなると標準化を使った方が楽ですね。
2.特徴量の影響を抑えたい時は正規化(Normalization)を使います
例えば、住宅価格を予測するとします。
| 部屋数 | 築年数 | 最寄り駅までの距離(m) | 価格(万円) |
|---|---|---|---|
| 1 | 2 | 1000 | 10 |
| 2 | 5 | 3500 | 7.5 |
| 2 | 17 | 5000 | 6 |
| 3 | 15 | 800 | 10.5 |
| 2 | 12 | 2000 | 9 |
| 1 | 8 | 3000 | 6.5 |
仮に、住宅価格を予測する計算式(適当)が以下のようなものであれば、
$住宅価格 = 10\times部屋数 + 20\times築年数 + 20\times最寄り駅までの距離 + 5$
この場合、最寄り駅までの距離の影響が他の特徴より大きいから、正確に予測できなくなる可能性があります。
こんな時は、各特徴を正規化して、同じ0~1の範囲に抑えたら解決できます。
(計算を略します、、)
結論
- あるデータの分布の興味ある時、標準化を使います。
- 特徴量の影響を抑える時、正規化を使います。