データ分析コンペティションに参加する際、探索的データ分析（EDA）は成功のカギを握る重要なプロセスです。この記事では、テーブルデータを使ったコンペティションを想定して、EDAの具体的な手順とその結果から何を読み取るべきかを分かりやすく解説します。
1. EDAの目的とは？
EDA（探索的データ分析）は、データの性質を理解し、分析やモデル構築の方針を決めるための準備段階です。EDAを行うことで以下のことが可能になります：
- データ全体の特徴を把握する
- 欠損値や外れ値を発見する
- 目的変数（予測したい値）と特徴量の関係性を理解する
- 必要なデータクリーニングや加工方法を考える
2. 実際のデータ例
今回の例として、家の価格予測コンペティションを考えます。このデータには、各家の特徴（部屋数、広さ、築年数など）と価格（目的変数）が含まれています。
データの例
| ID | 部屋数 | 広さ（㎡） | 築年数 | 地域 | 価格（目的変数） |
|---|---|---|---|---|---|
| 1 | 3 | 80 | 15 | 都心 | 5000 |
| 2 | 4 | 100 | 10 | 郊外 | 3000 |
| 3 | 2 | 60 | 30 | 地方 | 1500 |
3. ステップバイステップで進めるEDA
ステップ 1: データの基本情報を確認
まずはデータの基本構造を把握します。
- 列名（特徴量と目的変数）を確認
- 各列のデータ型（数値型、カテゴリ型など）を把握
- データに欠損値や外れ値がないか調べる
具体例
- 築年数に欠損値が10% → 平均値や中央値で埋める必要がある。
- データサンプル数が少ない場合、モデリングの前にデータ拡張を考える。
ステップ 2: 目的変数（価格）の分布を確認
目的変数（価格）がどのような分布をしているかを確認します。
-
確認ポイント：
- 正規分布に近いか、それとも偏っているか？
- 異常に高い値や低い値（外れ値）がないか？
具体例
価格が右に偏っている（高い価格帯が多い）場合は、対数変換（log変換）を適用して正規分布に近づけることが検討されます。
ステップ 3: 特徴量の分布を調べる
各特徴量の分布を確認して、どのような情報を含んでいるかを調べます。
- ヒストグラムや箱ひげ図を使い、データの範囲やばらつきを視覚化。
- 外れ値がある場合は、その影響を考慮します。
具体例
- 築年数が異常に高い（例: 築150年など）データが見つかった場合、これは削除または修正が必要。
ステップ 4: 特徴量間の関係を分析
特徴量同士や目的変数との相関関係を調べます。
- 相関係数を計算し、価格に強く影響する特徴量を特定。
- 特徴量同士に高い相関がある場合、冗長な情報を整理。
具体例
- 「広さ（㎡）」と価格の相関が+0.8 → 広さは価格を決める重要な要素。
- 「部屋数」と価格の相関が+0.3 → 部屋数単体では価格に影響が少ない。
ステップ 5: カテゴリ変数の分析
文字データ（例: 地域）を分析し、価格にどれほど影響を与えるか確認します。
- カテゴリごとのデータ数や平均価格を比較。
- モデルに利用する場合は「ダミー変数化」が必要。
具体例
地域ごとの平均価格が以下のような結果だった場合：
- 都心：5000万円
- 郊外：3000万円
- 地方：1500万円
この結果から、地域は価格に大きな影響を与える重要な特徴量だと判断できます。
ステップ 6: 問題点を特定して対処法を考える
EDAで得られた情報を元に、以下のような問題点と対処法を整理します。
具体例
-
欠損値:
- 築年数の欠損値を中央値で埋める。
-
外れ値:
- 異常に高い広さ（例: 1000㎡以上）のデータを削除。
-
特徴量の加工:
- 広さ（㎡）と部屋数を組み合わせて「1部屋あたりの広さ」を新たな特徴量として作成。
4. EDAの結果から読み取れること
EDAの結果を基に、以下のような洞察が得られます：
-
重要な特徴量:
- 「広さ（㎡）」「地域」「築年数」は価格に大きな影響を与えるため、モデルに取り入れるべき。
-
データの問題点:
- 欠損値や外れ値をクリーニングする必要がある。
-
データの偏り:
- 価格の分布が偏っているため、対数変換が効果的。
-
次のステップ:
- 特徴量エンジニアリングやデータクリーニングを進める。
5. まとめと次のアクション
EDAはデータ分析プロジェクトの基礎を築く重要なプロセスです。この例では、家の価格を予測するために以下を実施しました：
- データの全体像を把握
- 目的変数と特徴量の関係性を分析
- 欠損値や外れ値を発見し、対処法を検討
次のステップでは、EDAの結果を元に特徴量の加工やモデル構築に進みます。分析の精度を高めるために、丁寧にEDAを進めることが成功のカギです！