広告の効果を考えてみる

アプリを使ったWebサービスを提供するA社で、ある日このような会話が話されていました。あなたはこの会話を聞いてどう思いますか。

Xさん：「Yさん聞いてください！Twitterに広告を掲載したことでDL数が倍以上に増えました！」
Yマネージャー：「広告の効果が出ているようですね。引き続ぎ実施していきましょう。」

これだけを見ると、広告は非常に効果的であり、その広告による影響としてDL数が非常に増えたものと判断できそうです。しかし、このグラフを見るとどうでしょうか。

Xさんの言うDL数の増加がa1からa2への変化であるとしましょう。確かに、a1からa2へのDL数の増加は一見すると著しいものであり、倍以上伸びていることもわかります。ただ、これが本当に広告による効果といえるのでしょうか。以降で説明する手法を用いるならば、今回のケースは「広告による影響はない」と判断されます。
Xさんはa1（前）とa2（後）を単に比較して広告の効果を語っていましたが、このような前後比較には欠陥がありそうです。次の節で考えていきましょう。

単純な前後比較の問題

Xさんはa1とa2という二つの"点"を比較しました。このような点の比較ではDL数の推移の傾向がわかりません。グラフを見ると、A社のDL数の増加率は広告掲載前後で変化がないことがわかります。傾向を無視した点の比較では因果関係を正しく分析することはできません。

また、広告に効果があったことを示すためには以下を比較する必要があります。

• 広告を掲載した場合のDL数
• 広告を掲載していない場合のDL数

しかしながら、実際に広告を掲載した以上、二つ目の「広告を掲載していない場合のDL数」を結果として確認することは不可能です。
では、どうやって因果関係を分析すればよいのでしょうか。

因果分析手法 -差分の差分法-

ここで登場する手法が差分の差分法(Difference-in Difference)です。その名の通り、差分の中の差分を分析することである事象の影響を分析します。
今回のケースでは、測定した2時点(a1, a2)という"差分"を明らかにしたうえで、「広告を掲載した場合のDL数」と「広告を掲載していない場合のDL数」との"差分"を明らかにすることで広告による影響がどれほどのものであったかを導き出すのです。以上の説明を踏まえて、グラフを見てみましょう。
※説明のため1つ目のグラフと異なる数値になっています

差分の差分法では、「広告を掲載した場合のDL数」（処置群）と「広告を掲載していない場合のDL数」（統制群）の差分を算出します。しかし、先に述べた通り、実際に広告を出した以上は「広告を掲載しなかった場合」のデータを取得することは不可能です（反事実）。
そこで使われる方法として、分析対象となる会社と類似する同業他社のDL数を「広告を掲載しなかった場合のDL数」とみなして分析対象（統制群）とします。このとき、統制群が満たすべき条件は処置群と同様の傾向でアウトカム(DL数)が推移していることです。これは、差分の差分法の前提条件でもあり、「平行トレンドの仮定」と呼ばれます。

実際に差分の差分法で広告による影響を導き出してみましょう。本来は難しい公式が出てきますが、ここでは省略します。
まず、処置群と統制群それぞれで広告掲載前後の差分を算出します。特に難しいことはなく、処置群はa2-a1、統制群はb2-b1となります。次に、差分の"差分"を算出し、(a2-a1)-(b2-b1)が求められます。この(a2-a1)-(b2-b1)が広告の効果を示すことになります。グラフでは「広告による効果」と記載された部分がこれにあたります。

最後に

統計学ガチ勢に見られたらぶん殴られそうな内容ではありますが、生暖かい目で見守っていただければ幸いです。