1．はじめに
アポロ株式会社でデータサイエンティストをしている本間です。
ビジネスアナリティクスを行い、顧客マーケティングに関する施策効果検証などのデータ分析を行なっています。
この記事では、因果推論を用いた施策効果検証の概要について解説します。
2. 「キャンペーンによって売上は20%UPしました！」
ビジネス施策の企画・立案に携わる人ならば、施策後の売上データを見てこんな報告をしたことがある人も多いかと思います。
でも、ちょっと待ってください。その売上UPは本当にキャンペーンの効果でしょうか？もっと言うと、「売上が20%UPした要因はキャンペーンだった」と言えるのでしょうか？
実は、私たちが日々行なっているデータ分析には大きな落とし穴が潜んでいます。
この記事では、ビジネス施策の効果を推定することの難しさと、なぜ「因果推論」という考え方が重要なのかを、具体例を交えながら解説します。
3. 「効果があった」は本当か？〜身近な勘違い〜
あなたはECサイトの担当者だとします。先日配信したメールマガジンのデータを分析したところ、以下図のような結果が出ました。
「メールを配信する方が購買率が15%高かったので、メルマガにもっと投資するべきだ！」
こう結論付けたくなりますが、これは典型的なデータ分析の落とし穴です。
一体なぜでしょうか？
それは「メールを受け取る人たちは、もともとその商品に対する興味・関心が高い人の可能性がある」からです。
つまり、この人たちはメールを配信せずとも商品を購買していた可能性が高いグループと考えられます。
実際のビジネスでは、メールマーケティングを効率的に実施するために、過去の購買実績などを参考に購買確率が高そうなユーザーを選んでからメール配信をすることはよくあります。
すると、購買しそうなユーザーにはメールが配信され、購買しなさそうなユーザーにはメールが配信されません。このような背景がある上で「メール配信 vs メール未配信」の比較をすると、そこにはメール配信の効果以外に「潜在的な購買率の差」も含まれてしまいます。
このように、比較するグループ間に潜在的な差が潜んでいることで生じる結果の差をセレクションバイアスと呼びます。
セレクションバイアスが仮に10%だったとすると、メール配信の効果は5%ということになります。
メール配信の効果を「購買率15%UP」とする場合と「購買率5%UP」とする場合では、ビジネスにおける意思決定（メール配信に投資するか）が変わってくるでしょう。
4. なぜビジネスに因果推論が必要なのか？
3.で示した例のように、データの解釈を間違えたために多くのお金と時間が失われてしまうケースは珍しくありません。
今日ではデータは客観的で定量的な根拠として活用されていますが、それゆえにデータを疑うことは難しいことでもあります。そのため、データの裏側に潜むバイアスを見抜く術を身に付け、適切にデータを扱う必要があるのです。
あなたがECサイトの担当者で、購買率を上げるためにメール配信を企画した張本人であった場合を考えてみてください。
以下図（再掲）のようなデータ分析結果が得られたときに、これを疑うことは出来るでしょうか？
おそらく、ほとんどの人が「メール配信で購買率が15%UPする」と解釈し、報告してしまうでしょう。
バイアスを見抜けない理由はいくつか考えられますが、一番大きな理由は
「購買率が上がると見込んでメール配信しているのだから、購買率は上がって当然だ。コストをかけたのだから、効果が出てくれないと困る。」
という確証バイアス（願望に近い焦り）だと思います。
「〇〇万円のコストをかけたけど、効果はありませんでした。」
と報告したくない気持ちも分かりますが、「データドリブンな意思決定」を掲げる上では紛れもない悪手です。
このような事態を防ぐためには「失敗を恐れない組織づくり」をすることが大切だと考えます。
同時に、データ分析の観点からは「適切に検証し、正しく判断する」ことが求められます。つまり、施策などのビジネス的な処置が結果に与えた「本当の効果」を推定することが求められ、そのために因果推論の技術が用いられます。
ビジネス施策などの検証を行うために因果推論を用いることを効果検証と言ったりもします。
3で例示したメール配信の例では、
「メール配信の本当の効果は購買率5%UP」
と報告するのが健全で正しく、これを可能にするのが効果検証です。
5. 理想的な効果検証
では、どうすれば「本当の効果」を推定できるのでしょうか？
因果推論の手法としていくつか方法があるのですが、メール配信などの検証時に利用できる方法の1つに「RCT（ランダム化比較試験）」という実験計画法があります。
難しそうに見えますが、3. のメール配信の例だと「メールを配信するユーザーとしないユーザーをランダムに決める」ということです。
一部では「A/Bテスト」と呼ばれたりもします（聞き覚えのある方も少なくないと思います）。
RCTは比較したいグループをランダムに作るため、各グループごとの平均的な性質が同じになります。
1.のメール配信の例では「メール配信するグループ」と「メール配信しないグループ」をランダムに作ることになります。すると、セレクションバイアスの要因である購買率がもともと高い人たちがどちらも同じ人数含まれるようになります（以下図）。
そうすることで、両グループの平均的な性質（潜在的な購買率）はほとんど同じと見なすことができ、セレクションバイアスを解消します。
その上で購買率に差があれば、それはメール配信による効果だと言えます。
「じゃあ、全部RCTでやればいいじゃないか！」
そう思われた人も多いでしょう。
確かにRCTは理想的な手法ですが、現実のビジネスではRCTを使えない場面がよくあります。
例えば「売上UPを目的に、優良顧客向けに特別サービスを提供する」場合を考えます。
この特別サービスによる売上UP効果をRCTで検証するためには、効果を統計的に立証するために、特別サービスを提供するグループとしないグループそれぞれで一定のサンプルサイズを用意する必要があります。
すると、優良顧客の一部にしか特別サービスを提供できず、売上UP効果が本当にあった場合は売上機会の損失になります。
また、近年ではSNSなどインターネット上での情報拡散速度も凄まじいですから、
「私このサービス使った！」
「僕は使ってない、そんなサービス知らないよ？」
といった不公平感もユーザーの間で瞬く間に拡散してしまうでしょう。
特にロイヤリティプログラムで優良顧客を明確に線引きしている場合は、これが企業への不信感に繋がるため、悪手と判断し却下されるケースがとても多いのです。
上記のようなビジネス上の制約に加えて、物理的な制約も存在します。
例えば「店頭での棚割を変えたことによる売上への影響」を検証したくても、同じ店舗で異なる2つの棚割を実現するのは物理的に不可能です。
こういう場合にはDiDなどの別の手法を用いるのですが、次回以降で紹介させていただきます。
RCTは「理想」であって「万能」ではありません。
だからこそ、RCTが出来ない状況でも出来るだけ効果を正しく推定する方法が必要になるのです。
6. おわりに
今回はビジネスにおける因果推論の重要性と、因果推論の概要を解説しました。
重要なのは、今見えている数値と本当の効果にはギャップがあることを常に意識する必要があるということです。
次回以降は、RCTが実施出来ない状況でも使える実践的な因果推論の手法（重回帰分析、DiD、傾向スコアマッチングなど）を紹介していく予定です。
データ分析の結果を見るとき、ぜひ一度立ち止まって考えてみてください。
「この効果は本当に施策によるものだろうか？」
この問いを持つことが、真の「データドリブンな意思決定」への第一歩です。
最後までお読みいただき、ありがとうございました。
これからも役立つ技術情報をお届けしますので、ぜひフォローお願いします！
アポロでは仲間を積極募集中です！
ご興味のある方は是非求人をチェックしてみてください！
✅アポロ株式会社採用ページ