メモ

本稿はただのメモです.

効果検証についての著書「効果検証入門〜正しい比較のための因果推論／計量経済学の基礎 」の冒頭では次のような説明があります.

最も理想的な検証方法とは、「まったく同じサンプルで比較する」という方法です。
安井 翔太. 効果検証入門〜正しい比較のための因果推論／計量経済学の基礎 (Japanese Edition) (Kindle の位置No.500). Kindle 版.

当たり前のことのようですが、その意図するところは以下のようです.

もしタイムトラベルが可能であれば、そのユーザにメールを配信してそのあとどうなるかを観測し、そのあと分析者のみが過去に戻って今度は配信せずにどうなるかを観測します。
安井 翔太. 効果検証入門〜正しい比較のための因果推論／計量経済学の基礎 (Japanese Edition) (Kindle の位置No.503-505). Kindle 版.

タイムトラベルが可能であれば、私なら何か別のことをすると思いますが、厳密な意味で、介入効果の比較ができないことについては専用の名前が与えられており、それは「因果推論の根本問題」とよばれているそうです.つまり根本的な問題として実行不可能だということでしょう.

そして、現実で実行可能で最も信頼のおける効果の検証方法は、例えばメール配信に関する話でいうと、配信対象をランダムに選択し、配信群と非配信群の売り上げを比較することです.

以下のとおり、著書によると「RCT」と呼ばれるとのことでした.

このメール配信のような、効果を知りたい施策をランダムに割り振り、その結果として得られたデータを分析して比較することはRCT（無作為化比較試験、RandomizedControlledTrial）と呼ばれ、さまざまな科学分野で効果を検証する際に利用されています。安井 翔太. 効果検証入門〜正しい比較のための因果推論／計量経済学の基礎 (Japanese Edition) (Kindle の位置No.526-529). Kindle 版.

実際、別の著者の書籍内でも同様の概念について言及があります.

そのため、コントロール実験は因果関係を評価するための黄金律とされている。しかし、以下のような状況ではコントロール実験が実施不可能なことがあり得る。テスト対象の因果関係のある行動が組織のコントロール下にない場合。例えば、iPhoneからSamsungGalaxyのスマホに変更したときに、ユーザーの行動がどのように変化するかを理解したいとする。たとえSamsungであっても、一般的には、ユーザーの選択を制御することはできず、実験のために人々に報酬を支払うと結果を偏らせる。Ron Kohavi,Diane Tang,Ya Xu,大杉 直也. A/Bテスト実践ガイド　真のデータドリブンへ至る信用できる実験とは (Japanese Edition) (p.239). Kindle 版.

「RCT」ではなく「コントロール実験」と呼ばれています. 少なくともニュアンスとしては同じでしょう.

ちなみにこの本の著者はかなり熱いトーンで
コントロール実験が実行可能であることこそがイノベーションの起こる環境なのだ！
ということを主張されています.

裏を返すと、上述の引用で言及されているスマホ変更のような事例は、基本的に効果検証が困難
さらに、さまざまな手法を講じた後であっても、その検証結果の正当性は怪しい
そういったスタンスのようです.

私の目下の関心は、ビジネスの現場で誤った判断をしたり騙されないための正しい比較の手法です.
効果検証におけるセレクションバイアスへの対策という分野は比較的それに近いという理解を持ちました.
(もちろん、他にもドンピシャな分野があるかもしれませんが...
　　
コントロール実験以外は全て悪、という論調の著者も中にはいらっしゃるようですが、実験をしてその効果を正しく検証し意思決定するという状態は、特に私の目指すところではありません.

無意味なもの、中身のないものを見破る手法に関心があります.
つまり限られた時間で有意義なことに打ち込みたいです.

当面はこのセレクションバイアスと呼ばれる領域について理解を深めようと思います.