データサイエンスや機械学習において、モデルのパフォーマンスを最大限に引き出すためには、適切な特徴量エンジニアリングが欠かせません。その中でも、カテゴリデータのエンコーディングは非常に重要なプロセスです。本記事では、カテゴリ変数を数値に変換するさまざまなエンコーディング手法をわかりやすく解説します。
※この記事は、ChatGPTの出力を基に作成しています。

エンコーディング手法の種類

カテゴリ変数を数値化するエンコーディング手法は、以下のように分類されます。それぞれの手法には、利点と欠点があるため、目的やデータの性質に応じて選択することが重要です。

1. ラベルエンコーディング (Label Encoding)

カテゴリを整数値に変換するシンプルな方法です。

例: ['赤', '青', '緑'] → [0, 1, 2]
利点: 簡単で実装が容易。
欠点: カテゴリ間に順序関係が暗黙的に導入され、モデルに悪影響を与える可能性がある。

2. ワンホットエンコーディング (One-Hot Encoding)

カテゴリごとに新しい列を作成し、カテゴリが存在する場合に1、それ以外を0とします。

例: ['赤', '青', '緑'] → [[1, 0, 0], [0, 1, 0], [0, 0, 1]]
利点: 順序のないカテゴリデータに適している。
欠点: 次元数が増加する（カーディナリティの問題）。

3. ターゲットエンコーディング (Target Encoding)

カテゴリをターゲット変数（例えば、回帰の目的変数）の平均値で置き換えます。

例: カテゴリA → 平均ターゲット値 (例: 0.7)
利点: 高次元カテゴリデータに対応可能。
欠点: データリークのリスクがあり、クロスバリデーションが必要。

4. 頻度エンコーディング (Frequency Encoding)

各カテゴリの出現頻度や割合で置き換える方法です。

例: ['赤', '赤', '青'] → [2, 2, 1]
利点: データ分布の情報を保持。
欠点: 高次元カテゴリデータでは区別が難しい場合がある。

5. バイナリエンコーディング (Binary Encoding)

カテゴリを整数に変換し、その値をバイナリ形式に変換してエンコードします。

例: ['赤', '青', '緑'] → [001, 010, 011]
利点: ワンホットエンコーディングより次元数を削減できる。
欠点: 解釈が難しい。

6. エンベディング (Embedding)

カテゴリ変数をディープラーニングの手法で学習し、密なベクトルとして表現します。

例: カテゴリ → ベクトル [0.1, 0.5, -0.3]
利点: 高次元データに対する表現力が高い。
欠点: モデル学習が必要。

7. オーダーエンコーディング (Ordinal Encoding)

順序があるカテゴリ変数を、その順序に基づいて整数値に変換します。

例: ['低', '中', '高'] → [1, 2, 3]
利点: 順序データを正確に表現可能。
欠点: 順序の定義が適切でない場合、モデルに悪影響を与える。

8. カウントエンコーディング (Count Encoding)

各カテゴリの出現回数で置き換える方法です。

例: ['赤', '青', '赤'] → [2, 1, 2]
利点: 実装が簡単。
欠点: 頻度エンコーディングと同様に情報損失の可能性がある。

9. ハッシュエンコーディング (Hashing Encoding)

固定サイズのハッシュ関数を用いてカテゴリをエンコードします。

利点: 高次元データにも対応可能。
欠点: ハッシュ衝突のリスクがある。

10. トークン化 (Tokenization)

テキストデータを分割し、数値ベクトルに変換します（主に自然言語処理で使用）。

利点: テキストデータの処理に適している。
欠点: 前処理の複雑さ。

11. ピボットエンコーディング (Pivot Encoding)

複数の特徴量を組み合わせて新しいカテゴリ変数を生成します。

利点: 相互作用を考慮できる。
欠点: 計算コストが高くなる場合がある。

まとめ

エンコーディング手法はデータの性質やモデルの要件によって選択する必要があります。以下を考慮して選択するとよいでしょう。

カテゴリ数（高次元かどうか）
順序の有無
モデルの種類（線形モデルか非線形モデルか）
データリークのリスク

適切なエンコーディング手法を選び、データの情報を最大限活用しましょう。