LoginSignup
13
11

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@futakuchi0117(田林 伸一郎)

探索的データ分析（EDA）完全ガイド：2024年版

Posted at

第1章： 探索的データ分析（EDA）とは？

探索的データ分析（EDA：Exploratory Data Analysis）は、データサイエンスにおいて欠かせない重要なプロセスです。
EDAは、データの特徴や構造を理解し、仮説を生成、検証するための一連の手法を指します。
2024年現在、ビッグデータや機械学習の普及に伴い、EDAの重要性はますます高まっています。

EDAの主な目的は以下の通りです：

  1. データの全体像を把握する
  2. 変数間の関係性を明らかにする
  3. 異常値や欠損値を発見する
  4. データの質を評価する
  5. 仮説を生成し、検証する

EDAは、データクリーニング、データ変換、統計的分析、可視化など、多岐にわたる手法を組み合わせて行われます。
他のデータ分析手法と比べ、EDAは特に探索的な性質が強く、データの "理解" に重点を置いています。

最近のEDAのトレンドとしては、以下のような事例が挙げられます：

  • 自動EDAツールの活用（Pandas Profiling, Sweetviz, DataPrep.EDA など）
  • インタラクティブな可視化ツールの発展（Plotly, Bokeh, Altair など）
  • 機械学習モデルの解釈性を高めるためのEDA手法の開発（SHAP, LIME など）

第2章： EDAのプロセス - ステップバイステップガイド

ステップ1： 目標設定

EDAを始める前に、まず達成すべき目標を明確にしましょう。例えば、以下のような問いを設定します：

  • 売上の伸び悩みの原因は何か？
  • 顧客離れを防ぐにはどうすればよいか？
  • 不正アクセスを検知するための指標は何か？

ステップ2： データの取得と準備

目標に沿ったデータを収集し、分析に適した形に整えます。主な手順は以下の通りです：

  1. データソースの特定（社内データベース、APIなど）
  2. データの収集（SQL, Python, Rなど）
  3. データのクリーニング（欠損値、異常値の処理）
  4. データの統合（複数のデータソースを結合）
  5. データの変換（正規化、エンコーディングなど）

ステップ3： データの概要把握

データの全体像を把握するために、以下のような統計量を確認します：

  • 件数、平均値、中央値、最大値、最小値
  • 標準偏差、四分位範囲、歪度、尖度
  • 欠損値の割合、ユニーク値の数

Pythonでは、pandasのdescribe()メソッドを使うと簡単に概要統計量を確認できます。

import pandas as pd

df = pd.read_csv('data.csv')
print(df.describe())

ステップ4： データの可視化

データを可視化することで、変数間の関係性や異常値などを直感的に把握できます。よく使われるグラフは以下の通りです：

  • ヒストグラム（変数の分布を確認）
  • 散布図（2変数の関係性を確認）
  • ボックスプロット（変数の四分位範囲や外れ値を確認）
  • バイオリンプロット（変数の分布や尖度を確認）

Pythonでは、matplotlibやseabornを使ってグラフを描画できます。

import seaborn as sns

sns.pairplot(df, hue='target')

上の例では、変数1と変数2、変数1と変数3、変数2と変数4、変数3と変数4の間に関係性があることが分かります。

ステップ5： パターンと関係性の発見

可視化の結果を基に、変数間の関係性やデータのパターンを分析します。以下のような手法が使われます：

  • 相関分析（変数間の相関係数を計算）
  • クラスター分析（データをグループ化）
  • 主成分分析（変数を合成して次元を削減）

Pythonでは、scipyのpearsonr()関数を使って相関係数を計算できます。

from scipy.stats import pearsonr

corr, _ = pearsonr(df['var1'], df['var2'])
print(f'相関係数：{corr:.2f}')

ステップ6： 仮説の検証と修正

EDAで得られた洞察を基に、仮説を立てて検証します。例えば、以下のような仮説が考えられます：

  • 仮説1：価格が高いほど売上が減る
  • 仮説2：商品の評価が高いほど売上が増える

仮説を検証するために、統計的仮説検定を行います。例えば、価格と売上の関係を調べるために、回帰分析を行うことができます：

from sklearn.linear_model import LinearRegression

X = df[['price']]
y = df['sales']

model = LinearRegression()
model.fit(X, y)

print(f'切片：{model.intercept_:.2f}')
print(f'係数：{model.coef_[0]:.2f}')

ここでは、価格を説明変数 $x$、売上を目的変数 $y$ とする単回帰分析を行っています。回帰式は以下のようになります：

$$y = a + bx$$

  • $a$：切片
  • $b$：回帰係数

ステップ7： まとめと次のステップ

EDAの結果をまとめ、得られた知見を整理します。例えば、以下のようなポイントがまとめられます：

  • 価格が高いほど売上が減る傾向がある
  • 商品の評価と売上には正の相関がある
  • 一部の商品で在庫切れが発生している

これらの知見を基に、次のようなアクションプランを立てることができます：

  • 価格戦略の見直し
  • 商品レビューの収集と分析
  • 在庫管理の改善

第3章： EDAのための強力なツール

EDAを効果的に行うために、以下のようなツールが活用されています：

Pythonライブラリ

  • Pandas：データフレームの操作に特化したライブラリ
  • NumPy：多次元配列の高速処理を実現するライブラリ
  • SciPy：科学技術計算のためのライブラリ群
  • Matplotlib：グラフ描画のためのライブラリ
  • Seaborn：統計データの可視化に特化したライブラリ
  • Plotly：インタラクティブな可視化を実現するライブラリ

可視化ツール

  • Tableau：ドラッグ＆ドロップでデータ可視化できるBIツール
  • Power BI：Microsoftが提供するBIツール
  • Google Data Studio：Googleが提供するBIツール

自動化ツール

  • Pandas Profiling：データの概要を自動でレポート化するライブラリ
  • Sweetviz：データの概要や変数間の関係性を自動で可視化するライブラリ
  • Autoviz：複数のグラフを自動で生成し、最適なグラフを提案するライブラリ

ツールの選定に際しては、以下のような基準を参考にすると良いでしょう：

  • 分析の目的に合っているか
  • 扱うデータの種類や量に適しているか
  • 導入コストや学習コストが許容できるか
  • サポートやコミュニティが充実しているか

第4章： 事例で学ぶEDA - ビジネス課題解決への応用

ここでは、小売業の売上データを例に、EDAによる課題解決の事例を紹介します。

1. 課題設定

ある小売店の売上が伸び悩んでいます。売上増加のための施策を立案したい。

2. データ準備

過去1年分の売上データを用意します。データは以下のような構造になっています：

  • date：売上日
  • item_id：商品ID
  • price：商品の価格
  • quantity：販売数量
  • category：商品のカテゴリー
  • store_id：店舗ID

3. データの概要把握

まずは、データの概要を確認します。

import pandas as pd

df = pd.read_csv('sales.csv')
print(df.head())
print(df.info())
print(df.describe())

4. データの可視化

売上の推移や商品別の売上を可視化してみましょう。

import matplotlib.pyplot as plt

# 売上の推移
plt.figure(figsize=(10, 6))
plt.plot(df.groupby('date')['price'].sum())
plt.xlabel('Date')
plt.ylabel('Sales')
plt.title('Daily Sales')
plt.show()

# 商品別の売上
sales_by_item = df.groupby('item_id')['price'].sum().sort_values(ascending=False)
plt.figure(figsize=(10, 6))
plt.bar(sales_by_item.index, sales_by_item.values)
plt.xlabel('Item ID')
plt.ylabel('Sales')
plt.title('Sales by Item')
plt.show()

5. 関係性の分析

商品の価格と販売数量の関係を調べてみます。

import seaborn as sns

plt.figure(figsize=(8, 6))
sns.scatterplot(x='price', y='quantity', data=df)
plt.xlabel('Price')
plt.ylabel('Quantity')
plt.title('Price vs. Quantity')
plt.show()

6. 仮説の検証

「価格を下げれば販売数量が増える」という仮説を立てて、検証してみましょう。

from scipy.stats import pearsonr

corr, p_value = pearsonr(df['price'], df['quantity'])
print(f'相関係数: {corr:.2f}')
print(f'p値: {p_value:.3f}')

if p_value < 0.05:
    print('仮説は支持された')
else:
    print('仮説は棄却された')

7. まとめと考察

  • 売上は日によってばらつきがある
  • 一部の商品に売上が集中している
  • 価格と販売数量には弱い負の相関がある
  • 価格を下げると販売数量が増える可能性がある

以上の分析結果から、以下のような施策が考えられます：

  • 売れ筋商品の在庫を増やす
  • 価格を見直し、割引セールを実施する
  • 売上の低い商品を改善または削減する

第5章： EDAの落とし穴と対処法

EDAを行う際には、以下のような落とし穴に注意が必要です：

データバイアス

データに偏りがある場合、分析結果が歪められる可能性があります。例えば、アンケートデータで特定の年齢層が過剰に表現されている場合などです。偏りを避けるために、データの収集方法を工夫したり、重み付けを行ったりする必要があります。

相関と因果の混同

相関関係があっても、因果関係があるとは限りません。例えば、アイスクリームの売上と熱中症の発生件数には相関があるかもしれませんが、アイスクリームが熱中症の原因というわけではありません。因果関係を主張するためには、慎重な検証が必要です。

過剰適合

EDAで見つけたパターンが、たまたまそのデータセットに特有のものであり、一般性がない可能性があります。これを過剰適合と呼びます。過剰適合を避けるために、クロスバリデーションなどの手法を用いてモデルの汎化性能を評価することが大切です。

倫理的な配慮

データの分析や活用には、倫理的な配慮が欠かせません。特に、個人情報を扱う際には、プライバシーの保護に細心の注意を払う必要があります。また、分析結果が特定の集団に対して差別的にならないよう、公平性にも配慮しなければなりません。

おわりに

EDAは、データサイエンスにおける重要なプロセスです。本記事では、EDAの基本的な概念や手順、ツール、事例、注意点などを紹介しました。
EDAを効果的に行うためには、データに対する深い洞察力と、適切な手法の選択が求められます。
また、EDAで得られた知見を、ビジネスの意思決定に活かすことが重要です。

参考資料

お題は不問！Qiita Engineer Festa 2024で記事投稿！
Qiita Engineer Festa20242024年7月17日まで開催中！
13
11
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
13
11

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?