広告の数字って、だいたいこうなる。
- クリックは増える
- でも売上は思ったほど増えない
- なのに管理画面のROASは良い顔をしている
このズレを減らすために、最近よく出てくるのが 増分効果（Incrementality） と Causal MMM である。
まず「ラストクリック」がズレる理由
ラストクリックは「最後に触れた広告」に点数を全部つけます。
でも人は、だいたいこう動きます。
- なんとなく知る（SNS、動画、口コミ）
- 比べる（検索、レビュー）
- 最後に指名で買う（ここが計測に残りやすい）
最後にいた人が全部の手柄になると、上流の広告が評価されにくくなる。逆に、最後に出やすい広告は盛れる。
増分効果（Incrementality）
言い方を変えるとこれ。
広告が無かったら起きなかった分を測る
やることは単純。
- 広告を出す（ON）
- 広告を止める（OFF）
- 差を見る
式にすると、これだけ。
増分効果 = ON の結果 − OFF の結果
どうやって「OFF」を作るか
ユーザー単位で止められるなら、それが一番きれい。でも現実は難しいことが多いので、よく使われるのが 地域（Geo）。
例：
- 地域A：広告ON
- 地域B：広告OFF
- 1〜2週間だけ走らせる
- 売上（またはCV）の差を見る
これで「広告を止めたらどうなるか」に近いものが取れる。
注意
Geo実験は強いが、事故る可能性もある。
- OFF地域の人が隣に移動して広告を見る（混ざる）
- セールや価格変更と重なる（差が壊れる）
- 期間が短すぎる（ノイズがでかい）
MMMは「全部まとめて見る」道具
増分実験は強いですが、毎週はできない。
- 止められないチャネルがある
- 全部やると機会損失が出る
- 施策が多すぎる
そこで出てくるのが MMM（Marketing Mix Modeling） である。
MMMは、売上（CV）をだいたい次の材料で説明して、チャネル別の効き方を分ける。
- チャネル別の広告費
- 季節（曜日、月、イベント）
- 価格、キャンペーン
- 外部要因
MMMは「全体を見渡す」には便利。ただし、相関っぽく見える答えも出せてしまうので、扱いが雑だと危ないです。
Causal MMMは何をしているのか
Causal MMMは、乱暴に言うとこう。
増分実験の結果を“基準”にして、MMMを現実に寄せる
つまり、
- MMMだけで「この広告が効いた」と言い切らない
- 実験で取れた“増分”を見ながら、MMMの解釈を地に足つける
という運用。
いちばん簡単な運用
まずは「大きい設計」をやらなくてOK。
① KPIを1つ決める
例えば、売上 / 申込 / 初回購入 / 継続。まず1つ。
② 怪しいチャネルを1つ選ぶ
例えば：
- ROASが良すぎる
- 指名検索に寄りすぎる
- 触ってないのに上下する
このどれかのチャネルから。
③ 小さく増分実験を1回やる
短くていい。狭くていい。
「ONとOFFの差」を1回取る。
④ MMMで全体を見る
全部のチャネルは止められないので、MMMで全体の地図を作る。
⑤ MMMが怪しいと言った場所を、次の実験で確かめる
実験→MMM→次の実験のループが安定します。
つまづき要因
- OFFが本当にOFFになってない（混ざる）
- セール/価格変更と被っている
- 一度に施策を変えすぎる
- 1回の実験結果を真理扱いする（季節で変わる）
- MMMの答えをラストクリックで検証する（土俵が違う）
参考
Google Meridian（MMMを因果推論として説明）
https://developers.google.com/meridian/docs/causal-inference/about-mmm-causal-inference-methodology
Meridian（OSS）
https://github.com/google/meridian
Test-calibrated MMM と Causal MMM の違い（Haus）
https://haus.io/blog/whats-the-difference-between-test-calibrated-mmm-and-causal-mmm
Traditional vs Causal MMM（Measured）
https://www.measured.com/faq/the-difference-between-traditional-and-causal-media-mix-modeling/