データサイエンスや機械学習において、モデルのパフォーマンスを最大限に引き出すためには、適切な特徴量エンジニアリングが欠かせません。その中でも、カテゴリデータのエンコーディングは非常に重要なプロセスです。本記事では、カテゴリ変数を数値に変換するさまざまなエンコーディング手法をわかりやすく解説します。
※この記事は、ChatGPTの出力を基に作成しています。
エンコーディング手法の種類
カテゴリ変数を数値化するエンコーディング手法は、以下のように分類されます。それぞれの手法には、利点と欠点があるため、目的やデータの性質に応じて選択することが重要です。
1. ラベルエンコーディング (Label Encoding)
カテゴリを整数値に変換するシンプルな方法です。
-
例:
['赤', '青', '緑'] → [0, 1, 2] - 利点: 簡単で実装が容易。
- 欠点: カテゴリ間に順序関係が暗黙的に導入され、モデルに悪影響を与える可能性がある。
2. ワンホットエンコーディング (One-Hot Encoding)
カテゴリごとに新しい列を作成し、カテゴリが存在する場合に1、それ以外を0とします。
-
例:
['赤', '青', '緑'] → [[1, 0, 0], [0, 1, 0], [0, 0, 1]] - 利点: 順序のないカテゴリデータに適している。
- 欠点: 次元数が増加する（カーディナリティの問題）。
3. ターゲットエンコーディング (Target Encoding)
カテゴリをターゲット変数（例えば、回帰の目的変数）の平均値で置き換えます。
-
例:
カテゴリA → 平均ターゲット値 (例: 0.7) - 利点: 高次元カテゴリデータに対応可能。
- 欠点: データリークのリスクがあり、クロスバリデーションが必要。
4. 頻度エンコーディング (Frequency Encoding)
各カテゴリの出現頻度や割合で置き換える方法です。
-
例:
['赤', '赤', '青'] → [2, 2, 1] - 利点: データ分布の情報を保持。
- 欠点: 高次元カテゴリデータでは区別が難しい場合がある。
5. バイナリエンコーディング (Binary Encoding)
カテゴリを整数に変換し、その値をバイナリ形式に変換してエンコードします。
-
例:
['赤', '青', '緑'] → [001, 010, 011] - 利点: ワンホットエンコーディングより次元数を削減できる。
- 欠点: 解釈が難しい。
6. エンベディング (Embedding)
カテゴリ変数をディープラーニングの手法で学習し、密なベクトルとして表現します。
-
例:
カテゴリ → ベクトル [0.1, 0.5, -0.3] - 利点: 高次元データに対する表現力が高い。
- 欠点: モデル学習が必要。
7. オーダーエンコーディング (Ordinal Encoding)
順序があるカテゴリ変数を、その順序に基づいて整数値に変換します。
-
例:
['低', '中', '高'] → [1, 2, 3] - 利点: 順序データを正確に表現可能。
- 欠点: 順序の定義が適切でない場合、モデルに悪影響を与える。
8. カウントエンコーディング (Count Encoding)
各カテゴリの出現回数で置き換える方法です。
-
例:
['赤', '青', '赤'] → [2, 1, 2] - 利点: 実装が簡単。
- 欠点: 頻度エンコーディングと同様に情報損失の可能性がある。
9. ハッシュエンコーディング (Hashing Encoding)
固定サイズのハッシュ関数を用いてカテゴリをエンコードします。
- 利点: 高次元データにも対応可能。
- 欠点: ハッシュ衝突のリスクがある。
10. トークン化 (Tokenization)
テキストデータを分割し、数値ベクトルに変換します（主に自然言語処理で使用）。
- 利点: テキストデータの処理に適している。
- 欠点: 前処理の複雑さ。
11. ピボットエンコーディング (Pivot Encoding)
複数の特徴量を組み合わせて新しいカテゴリ変数を生成します。
- 利点: 相互作用を考慮できる。
- 欠点: 計算コストが高くなる場合がある。
まとめ
エンコーディング手法はデータの性質やモデルの要件によって選択する必要があります。以下を考慮して選択するとよいでしょう。
- カテゴリ数（高次元かどうか）
- 順序の有無
- モデルの種類（線形モデルか非線形モデルか）
- データリークのリスク
適切なエンコーディング手法を選び、データの情報を最大限活用しましょう。