マーケティングにおけるデータ分析入門 ②効果検証・ABテスト

はじめに

分析をしましょうとなったとき、何から手を付けたらよいかわからないという人もいるかと思います。この記事はまずその足掛かりになればと思い記載します。　

この記事の位置づけ

以下の記事を作成予定です。

1. 問題設定・基礎分析
2. 効果検証・ABテスト ←今回
3. データ解釈・特徴量エンジニアリング
4. 教師あり学習
5. 数理最適化
6. 分析結果のセルフチェック観点

因果関係とは

• 原因と結果の間に成立する関係

• 相関とは異なる

  • アイスの売上と水難事故は相関があるが、因果関係はない

• 相関

  • 2つの変数が同時に変動する関係のこと
    • 片方が増えるともう片方も増える → 正の相関
    • 片方が増えるともう片方は減る → 負の相関

• 因果関係

  • ある出来事（原因）が別の出来事（結果）を引き起こす関係

因果関係を考える時に注意すべき観点

1. 相関関係
   • 相関関係があるからと言って因果関係を示すわけではない
2. 疑似相関
   • 本当は因果がないのに、第三の要因の影響であたかも因果関係があるように見える現象
   • 偶然の相関
   • 交絡
     • 第三の要因が原因と結果の両方に影響しているため、直接の因果があるように見えてしまう現象
     • 例：アイスの売上と水難事故（共通要因＝「気温」）
3. 逆因果
   • 因果の方向を誤って解釈してしまうこと
   • 例：「睡眠時間が短いから成績が悪い」ではなく「成績が悪くて勉強時間が増えた結果、睡眠時間が短くなった」
4. バイアス
   • サンプルの偏りや観測方法によって、結果が歪む

因果関係の条件

以下のような条件が満たされていることが必要です。

• 時間的先行性(原因が先、結果があと)
• 一貫した関係(再現性があること)
• 他要因の排除(交絡やバイアスが取り除けているか)

検証とは何か

検証とは、仮説と結果の間に本当に因果関係があるのかを、データを使って確かめるプロセスです。
つまり、施策(=こうすれば良くなるのではないかという仮説)が正しいかどうかをデータで確かめます。
大きく分けると以下の2つのアプローチがあります。

• 観察：既存のデータをそのまま観察する
• 介入：条件を操作して結果を比較する（実験）

検証の手順

1. 仮説設定
   以下を参照。
   マーケティングにおけるデータ分析入門　①問題設定・基礎分析

2. データ収集

3. 分析

   • 施策対象とそうでない人の違いを確認
   • 効果の大きさ（どのくらい変わったか）を数値で出す
     • 差 ＝ インパクト（金額・件数・人数換算)
     • 比率 ＝ 効率（どれくらい改善したか、他施策と比べてどうか）
     • 例
       • 率の差：購入率が「施策あり 15%」→「施策なし 10%」、差は +5ポイント
       • 相対効果：施策ありの購入率が施策なしの1.5倍 → +50%改善
       • 売上換算：1000人に配布すると、追加購入50件 × 平均単価2000円 = 10万円の増収
       • 単位効果：1人あたり平均購入額が +300円増えた

4. 解釈

   • 施策でどれだけ指標が変わったかを確認
   • 効果が強い層や弱い層を見つけると次につながる
     • 次のアクションにつながるような指標と示唆を出す
   • 他要因（季節、同時施策など）が影響していないかも振り返る

5. 次の仮説へ

観察データでの因果推論

バイアスを取り除いた状態で検証する必要があります。

• 傾向スコアマッチング
  • 施策対象にどれだけ似ているかを表す確率(傾向スコア)が近い人をペアにして、比較層を作成して効果検証する

介入による因果推論(ABテスト)

ABテストは施策対象と比較対象に決めることで、条件の差を公平に比較できる仕組みです。
年齢や購買履歴などの交絡要因が平均的に均等になるようにランダムにサンプリングします。

1. 対象をサンプリング
   顧客を無作為にグループA（施策あり）とグループB（施策なし）に分ける。バイアスがかからないよう必要に応じて層別サンプリングを実施
2. 施策を実施
   グループAにはクーポンを配布し、グループBには配布しない
3. 結果を比較
   両グループの購入率や売上を比べて、差があればそれを「施策効果」とみなす