RCT/ABテストできないときの効果検証手法

Posted at 2025-12-29

背景・目的

ビジネスの現場ではRCTを実施することができず、因果推論の手法を使って条件付き独立の状況${Y(1),Y(0)}\perp T|X$を作り出して効果検証をすることが多い
- 推定された効果がどれだけ真の効果に近いかはわからない
介入群と非RCT群のデータのみが得られている状況で、真の効果を推定できるか検証する
データセット
- National Supported Work Demonstration dataset
- LaLonde(1986)で非常に有名なデータセットであるため説明は割愛
- 結果変数
  - re78（78年における参加者の年収）
- 介入
  - 労働市場へ参加できていない人への短期的な就労経験の提供
- 共変量
  - デモグラ、以前の年収など
- RCTの介入群/対照群に加えて、実験の外で得られたCPS(Current Population Survey)のデータ（本稿では非RCT群と呼ぶ）も得られている

結果変数の分布。0が1/4以上と多い。

介入有無で共変量の分布がそろっているか見る。RCT開始時にはそろっていたとしても、データの取得しやすさが介入有無の影響を受けて分布が変わっていることがあるため。

→大体揃っていそう

介入有無でかなり分布が似ていそうなため単純比較で問題なさそうだが、念の為下記の3通りで効果を検証した

平均的には年収は約800$増加、1.16倍になる効果がありそう

RCTを実施していない状況を想定し、データセットで提供されているCPS comparison groupのデータを用いて対照群の再現をおこない効果を推定する

介入群と非RCT群で共変量の分布がかなり異なっており、共変量の調整を適切に実施しなければ、独立性条件${Y(1), Y(0)}\perp T$が満たされなさそう→因果推論の手法を用いる

種々の手法を試したが、全く合わない・・

介入群と非RCT群で共変量の分布が大きくことなっているため、推定された推定スコアがかなり偏りのあるものになっている。

結果として、IPWの場合だと、標準化平均差が0.1を大きく上回っていて、共変量を全く揃えられていないことがわかる

ここまで共変量の分布が違いすぎると、層別しないと無理だと考えた

re75により3つのセグメントに分割する

re75中央値未満
re75中央値以上75%点未満
re75 75%点以上
一番下の75%点以上は微妙だが、上の2セグメントは過去の年収については分布が大体そろっている
一方で、人種関連の分布に大きな偏りがあることは変わらない
N数的にこれ以上の細分化は難しいため、これらのセグメント定義それぞれに対し、「介入群と非RCT群による効果の推定」と、「介入群と対照群による効果の推定」を実施する

「effect_obs」が非RCT群を用いたとき、「effect_exp」が対照群を用いた場合の結果（真の効果）
層別なしに比べて、かなり一致している。
RCTの検証でも、年収が低い群で効果が大きく、高い群では効果が小さいことがわかった
- 年収が中央値未満の群では、ほとんどがもともと年収0$だったため、今後職業訓練の対象を絞るとしたら現在年収が0$の人=就労できていない人を対象にするのが平均的な効果としては高くなる可能性がある

共変量の分布が介入有無で大きく異なる場合には、種々の統計的手法を試しても妥当な結果が得られないことがある
- 今回の場合は、高度な手法を用いるのではなく、ドメイン知識によって適切な層別をおこなうことが、真の効果に近づく有効な手段であった
回帰分析ベースの手法は、共変量を上手く加味した推定になっているかの判断が難しく、実務で使うのは少し怖い
IPWやマッチングといった共変量調整の手法であれば、共変量の分布がどれだけ揃っているか／マッチしたデータとの距離がどれくらいか、などを見ることで、上手くできているか判断が比較的しやすい
~~LaLondeの原著論文見ながらやりたかったけど、OpenAccessじゃやなかった、、学生の時なら見れたのに、、~~