LoginSignup
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@maskot1977(Ikemen Mas Kot)

因果式をパースしてDoWhy実行！Placebo検証で因果効果を評価する

Posted at

user:

因果式が次のような文字列で与えられているとします。

Y1 ~ X1 + X2
Y2 ~ X2

DoWhyを使って因果推論を行い、その結果を検証するPythonコードを書いてください。

assistant:

DoWhyを使って与えられた因果式から因果推論を行うには、以下のステップが必要です：

  1. 因果モデルの構築
  2. データの生成または読み込み
  3. 介入（intervention）の設定
  4. 推定（estimation）
  5. 検証（refutation）

ここでは、簡単なシミュレーションデータを用いて、Y1 ~ X1 + X2とY2 ~ X2に基づいた因果推論を行うPythonコードを示します。

import pandas as pd
import numpy as np
import dowhy
from dowhy import CausalModel

# シード値の設定（再現性のため）
np.random.seed(0)

# データの生成
N = 1000
X1 = np.random.normal(size=N)
X2 = np.random.normal(size=N)
Y1 = 2 * X1 + 3 * X2 + np.random.normal(size=N)
Y2 = 5 * X2 + np.random.normal(size=N)

df = pd.DataFrame({"X1": X1, "X2": X2, "Y1": Y1, "Y2": Y2})

# 因果式の定義に従って Y1 ~ X1 + X2 の因果推論
print("====因果推論: Y1 ~ X1====")
model_Y1_X1 = CausalModel(
    data=df,
    treatment="X1",
    outcome="Y1",
    common_causes=["X2"]
)

model_Y1_X1.view_model()
identified_estimand_Y1_X1 = model_Y1_X1.identify_effect()
estimate_Y1_X1 = model_Y1_X1.estimate_effect(identified_estimand_Y1_X1,
                                             method_name="backdoor.linear_regression")

print("推定結果:", estimate_Y1_X1.value)

# 検証（偽介入）
refute_result = model_Y1_X1.refute_estimate(identified_estimand_Y1_X1,
                                            estimate_Y1_X1,
                                            method_name="placebo_treatment_refuter")
print("検証結果:", refute_result)

print("\n====因果推論: Y2 ~ X2====")
model_Y2_X2 = CausalModel(
    data=df,
    treatment="X2",
    outcome="Y2"
)

model_Y2_X2.view_model()
identified_estimand_Y2_X2 = model_Y2_X2.identify_effect()
estimate_Y2_X2 = model_Y2_X2.estimate_effect(identified_estimand_Y2_X2,
                                             method_name="backdoor.linear_regression")

print("推定結果:", estimate_Y2_X2.value)

refute_result = model_Y2_X2.refute_estimate(identified_estimand_Y2_X2,
                                            estimate_Y2_X2,
                                            method_name="placebo_treatment_refuter")
print("検証結果:", refute_result)

このコードのポイント

  • common_causesにはバックドア調整を行う共通の原因を明示的に指定します。
  • view_model()で因果図（dot形式）を生成できます。
  • refute_estimateで推定値のロバスト性を確認できます（placeboやデータシャッフルなど）。
  • 実データでは因果関係の構造をドメイン知識に基づいて慎重に指定する必要があります。

必要であれば、因果式を文字列からパースして自動的にDoWhyモデルを構築するコードも追加できます。興味ありますか？

user:

はい、ありがとうございます。因果式を文字列からパースして自動的にDoWhyモデルを構築するコードを書いてください。

assistant:

こちらが 因果式の文字列（例: "Y1 ~ X1 + X2"）をパースして、DoWhyの因果モデルを自動構築するPythonコード です。

import re
import pandas as pd
import numpy as np
from dowhy import CausalModel

# サンプル因果式リスト
causal_formulas = [
    "Y1 ~ X1 + X2",
    "Y2 ~ X2"
]

# サンプルデータの生成（各変数名に対応）
np.random.seed(0)
N = 1000
data_dict = {
    "X1": np.random.normal(size=N),
    "X2": np.random.normal(size=N)
}
data_dict["Y1"] = 2 * data_dict["X1"] + 3 * data_dict["X2"] + np.random.normal(size=N)
data_dict["Y2"] = 5 * data_dict["X2"] + np.random.normal(size=N)

df = pd.DataFrame(data_dict)

# 因果式のパースとDoWhy処理
for formula in causal_formulas:
    # パース: outcome, treatments
    outcome, rhs = formula.split("~")
    outcome = outcome.strip()
    treatments = [var.strip() for var in rhs.strip().split("+")]

    # 共通の原因として、outcome, treatment 以外の変数を自動推定（簡易版）
    all_vars = set(df.columns)
    common_causes = list(all_vars - set([outcome]) - set(treatments))

    # 1変数ずつモデルを構築（DoWhyは1つのtreatment変数にしか対応しないことが多いため）
    for treatment in treatments:
        print(f"\n=== 因果推論: {outcome} ~ {treatment} (共通原因: {common_causes}) ===")
        model = CausalModel(
            data=df,
            treatment=treatment,
            outcome=outcome,
            common_causes=common_causes if common_causes else None
        )

        # 推定と検証
        identified_estimand = model.identify_effect()
        estimate = model.estimate_effect(identified_estimand,
                                         method_name="backdoor.linear_regression")

        print("推定結果:", estimate.value)

        # 検証（偽介入）
        refute = model.refute_estimate(identified_estimand, estimate,
                                       method_name="placebo_treatment_refuter")
        print("検証結果:", refute)

🔍 解説

  • causal_formulas：複数の因果式文字列を定義できます。
  • 文字列パース：正規表現なしで簡単に ~ と + によって分解。
  • 共通原因の自動推定：df.columns からアウトカムとトリートメントを除いたものを common_causes として扱います（簡易的）。
  • 複数トリートメントの扱い：DoWhyは通常1変数ずつ処理するため、トリートメントはforループで1つずつ推定。

このコードをベースに、因果グラフの可視化や別の推定手法（回帰以外）にも拡張できます。
変数名や因果式がもっと複雑になる場合は、正規表現を使ったパーサーも追加できます。

さらに発展させたい部分はありますか？

user:

ありがとうございます。

検証結果: Refute: Use a Placebo Treatment
Estimated effect:0.5194709231141028
New effect:-2.220446049250313e-16
p value:0.0

のような結果が得られましたが、どう解釈すべきか教えていただけますか？

assistant:

とても良い質問です。
DoWhyの検証結果（refutation）を正しく読むことは、因果推論の信頼性を判断するうえで重要です。

🔍 結果の読み方（例の出力）

Refute: Use a Placebo Treatment  
Estimated effect: 0.5194709231141028  
New effect: -2.220446049250313e-16  
p value: 0.0

各項目の意味

項目 意味
Estimated effect 元の介入効果（因果効果）の推定値です。この場合、XがYに与える効果は約0.52。
New effect **偽のトリートメント（Placebo）**を使って再推定した効果。理論上、効果はゼロになるべきです。これは -2.2e-16 なので、ゼロに非常に近いです。
p value 推定値の差が統計的に有意かを示します。0.0 は、効果の差が非常に有意である（≠偶然）ことを示します。

✅ 解釈

この結果は、以下のように解釈できます：

元の因果推論（Estimated effect）は、偽のトリートメント（Placebo）では再現されなかった
→ よって、元の効果は「信頼できる可能性が高い（本物の因果関係を捉えている）」。

つまり：

  • Estimated effect が大きく、
  • New effect がゼロに近く、
  • p value が小さい（例：0.05未満）

というのは 良いサイン です。

⚠️ 注意点

  • この検証は「因果効果が偶然に見えてしまっていないか？」をテストするものです。
  • ただし、「因果構造自体が正しいか」「交絡因子が十分に調整されているか」までは保証しません。
  • 他の refute_estimate 方法（例：data_subset_refuter, random_common_cause_refuter）と併用するとより堅牢です。

必要なら、複数の検証手法をまとめて実行するテンプレートもご紹介できます。ご希望ですか？

user:

はい、お願いします。

assistant:

以下は、DoWhyの複数の検証（refutation）手法を一括で実行し、結果を出力するテンプレートです。
これにより、介入効果の頑健性（robustness）をより広く評価できます。

🔁 複数の検証手法を実行するテンプレートコード

def run_refutations(model, identified_estimand, estimate):
    refuters = [
        "placebo_treatment_refuter",       # 偽介入（因果効果はゼロのはず）
        "data_subset_refuter",             # サブセットに分けて再推定（一貫性の確認）
        "random_common_cause_refuter",     # ランダム変数を共通原因として追加（頑健性の検査）
        "add_unobserved_common_cause"      # 潜在的な交絡因子があったと仮定したテスト
    ]
    
    for refuter_name in refuters:
        try:
            print(f"\n--- Refutation method: {refuter_name} ---")
            refute_result = model.refute_estimate(
                identified_estimand,
                estimate,
                method_name=refuter_name
            )
            print(refute_result)
        except Exception as e:
            print(f"Refuter {refuter_name} failed with error: {e}")

✅ 使い方

あなたの既存の因果推論コードに以下のように追加するだけです：

# 推定
identified_estimand = model.identify_effect()
estimate = model.estimate_effect(
    identified_estimand,
    method_name="backdoor.linear_regression"
)

# 結果の表示
print("推定結果:", estimate.value)

# 複数の検証を実行
run_refutations(model, identified_estimand, estimate)

💡 出力例（サマリ）

各検証の出力には以下が含まれます：

  • 新たな効果推定値（New effect）
  • 元の効果との差
  • p値（統計的に有意かどうか）

📌 備考

  • random_common_cause_refuter や add_unobserved_common_cause は「未知の共通原因に対する頑健性」をテストします。
  • ただし、サンプルサイズが小さいと不安定な結果になることがあります。

必要であれば、各検証結果をデータフレームにまとめて比較するコードも提供できます。興味ありますか？

user:

ありがとうございます。

run_refutations は、時間がかかりまくる上にエラーを吐くので、やめたいと思います。

その代わり、次のコードの結果をデータフレームにまとめて比較するコードを書いていただけませんか？

# 因果式のパースとDoWhy処理

for formula in causal\_formulas:
\# パース: outcome, treatments
outcome, rhs = formula.split("\~")
outcome = outcome.strip()
treatments = \[var.strip() for var in rhs.strip().split("+")]

# 共通の原因として、outcome, treatment 以外の変数を自動推定（簡易版）
all_vars = set(df.columns)
common_causes = list(all_vars - set([outcome]) - set(treatments))

# 1変数ずつモデルを構築（DoWhyは1つのtreatment変数にしか対応しないことが多いため）
for treatment in treatments:
    print(f"\n=== 因果推論: {outcome} ~ {treatment} (共通原因: {common_causes}) ===")
    model = CausalModel(
        data=df,
        treatment=treatment,
        outcome=outcome,
        common_causes=common_causes if common_causes else None
    )

    # 推定と検証
    identified_estimand = model.identify_effect()
    estimate = model.estimate_effect(identified_estimand,
                                     method_name="backdoor.linear_regression")

    print("推定結果:", estimate.value)

    # 検証（偽介入）
    refute = model.refute_estimate(identified_estimand, estimate,
                                   method_name="placebo_treatment_refuter")
    print("検証結果:", refute)

assistant:

了解しました。それでは、あなたのコードをベースにして、因果推論の結果（推定値＋Placebo検証結果）をデータフレームに整理して比較できるコードをご提供します。

✅ 出力例：整形されたDataFrame

Outcome Treatment Estimated_Effect Placebo_Effect P_Value
Y1 X1 2.02 ~0 0.00
Y1 X2 2.98 ~0 0.00
Y2 X2 4.95 ~0 0.00

🧩 改良版コード

import pandas as pd
from dowhy import CausalModel

results = []  # 結果を格納するリスト

# 因果式のパースとDoWhy処理
for formula in causal_formulas:
    # パース: outcome, treatments
    outcome, rhs = formula.split("~")
    outcome = outcome.strip()
    treatments = [var.strip() for var in rhs.strip().split("+")]

    # 共通原因を推定（outcomeとtreatments以外）
    all_vars = set(df.columns)
    common_causes = list(all_vars - set([outcome]) - set(treatments))

    # 各 treatment に対して因果推論とPlacebo検証
    for treatment in treatments:
        print(f"\n=== 因果推論: {outcome} ~ {treatment} ===")

        # モデル構築と推定
        model = CausalModel(
            data=df,
            treatment=treatment,
            outcome=outcome,
            common_causes=common_causes if common_causes else None
        )
        identified_estimand = model.identify_effect()
        estimate = model.estimate_effect(identified_estimand,
                                         method_name="backdoor.linear_regression")

        # Placebo検証
        refute = model.refute_estimate(identified_estimand, estimate,
                                       method_name="placebo_treatment_refuter")

        # 結果をリストに追加
        results.append({
            "Outcome": outcome,
            "Treatment": treatment,
            "Estimated_Effect": estimate.value,
            "Placebo_Effect": refute.new_effect,
            "P_Value": refute.refutation_result.get("p_value", None)
        })

# DataFrame に変換して表示
results_df = pd.DataFrame(results)
print("\n=== 因果推論の比較結果 ===")
print(results_df)

💡 補足

  • refute.refutation_result.get("p_value", None) はエラー対策込みで p値 を取得します。
  • 必要に応じて results_df.to_csv("causal_results.csv", index=False) でCSV保存も可能です。

ご希望であれば、結果をプロットして可視化する方法（棒グラフなど）もご紹介できますが、どうされますか？

user:

ありがとうございます。DoWhyでは、SEMのようなモデル適合度指標は計算しないのでしょうか？

assistant:

とても良いご質問です。

結論から言うと：

❌ DoWhy は SEM（構造方程式モデリング）のような**モデル全体の適合度指標（例：CFI, RMSEA, SRMRなど）**は提供していません。

🔍 理由：DoWhyの設計思想

DoWhyは以下のようなアプローチを取っています：

  • 因果効果（treatment → outcome）を特定の仮定下で推定することにフォーカスしており、
  • モデル全体（全変数間の関係性）ではなく、特定の介入（Intervention）に対する効果を重視します。
  • SEMのように「モデル構造全体がデータにどれだけ適合しているか」という統計的な整合性の評価は目的外です。

✅ DoWhyでの「モデルの信頼性評価」は以下の方法で代替されます：

方法 目的
Refuters（placebo, subset, etc.） 推定結果が頑健かどうか
複数の推定手法による比較（linear, propensity score, etc.） 結果の一貫性の検証
DAG可視化やdo-calculus検証 仮定の明示と理論的正当性の確認

🔁 もし「モデル全体の適合度」を測りたいなら？

代替案：

  • semopy や lavaan（R） のようなSEM専用ライブラリを使うと、以下が得られます：

    • CFI（Comparative Fit Index）
    • RMSEA（Root Mean Square Error of Approximation）
    • SRMR（Standardized Root Mean Square Residual）など

PythonでSEMを試したい場合：

from semopy import Model
desc = """
Y1 ~ X1 + X2
Y2 ~ X2
"""
model = Model(desc)
model.fit(df)
model.inspect()

このような形で、SEMモデルとの併用も可能です。

✅ まとめ

観点 DoWhy SEM
主眼 介入効果の因果推論 モデル全体の構造と適合性
モデル適合度指標 提供しない 提供する（CFI, RMSEAなど）
使用目的 介入の因果効果を見たいとき 複雑な構造の妥当性評価

DoWhyでの因果推論に加えて、SEMによる構造評価を行いたいニーズがあれば、併用の設計方針についてもアドバイスできます。併用もお考えですか？

user:

ありがとうございました。今日の会話をブログに残したいので、タイトル案をいくつか提案していただけませんか？

assistant:

もちろんです！今日の内容（因果式の文字列からDoWhyを使った自動推論、検証結果の解釈、モデル適合度の話など）を踏まえたブログタイトル案をいくつかご提案します。

🔖 ブログタイトル案（技術寄り・実用重視）

  1. 「DoWhyで自動因果推論：因果式を文字列から読み解くPython実装」
  2. 「因果式をパースしてDoWhy実行！Placebo検証で因果効果を評価する」
  3. 「Python×DoWhyで因果推論：式パース、効果推定、検証まで一気通貫」
  4. 「DoWhyで因果推論を自動化してみた：式→推定→検証→DataFrame整形」
  5. 「SEMのような適合度はない？DoWhyで因果推論を検証する方法」

✏️ やややさしめ・解説寄りタイトル案

  1. 「因果関係をPythonで調べる：DoWhyと式パースによる自動推論」
  2. 「DoWhyって何ができる？文字列から始める因果推論入門」
  3. 「因果推論の信頼性ってどう測る？Placebo検証の読み解き方」
  4. 「SEMとは違う？DoWhyで因果効果を測る時の考え方」

ご希望があれば、タイトルだけでなく導入文や構成案もご提案できます。どの雰囲気が気になりますか？

user:

「因果式をパースしてDoWhy実行！Placebo検証で因果効果を評価する」でいきたいと思います。最後に、今回の話を詳しくまとめてください。

assistant:

承知しました！
以下に、ブログ記事「因果式をパースしてDoWhy実行！Placebo検証で因果効果を評価する」のための詳しいまとめをご用意しました。導入からコード要点、結果の解釈、そして補足の理論的背景まで網羅しています。

🧪 因果式をパースしてDoWhy実行！Placebo検証で因果効果を評価する

✅ はじめに

因果推論ライブラリ DoWhy を使って、因果式の文字列から自動的に因果モデルを構築し、因果効果を推定・検証する方法を紹介します。
今回は、特に「Placebo検証」に焦点を当てて、推定結果の信頼性を評価します。

📌 前提とデータ構造

対象とする因果式（文字列で与えられる）：

causal_formulas = [
    "Y1 ~ X1 + X2",
    "Y2 ~ X2"
]

これに対応するデータ df は、PandasのDataFrame形式で、少なくとも Y1, Y2, X1, X2 を含みます。

🔄 因果式のパースとDoWhyモデルの自動構築

以下のコードで、

  • 式をパースして、outcome（結果）とtreatment（介入変数）を取り出し、
  • それ以外の変数を共通原因として推定し、
  • DoWhyで因果効果を推定、
  • Placebo検証を行い、
  • 結果を整理してDataFrameにまとめます。
import pandas as pd
from dowhy import CausalModel

results = []

for formula in causal_formulas:
    outcome, rhs = formula.split("~")
    outcome = outcome.strip()
    treatments = [var.strip() for var in rhs.strip().split("+")]

    all_vars = set(df.columns)
    common_causes = list(all_vars - set([outcome]) - set(treatments))

    for treatment in treatments:
        model = CausalModel(
            data=df,
            treatment=treatment,
            outcome=outcome,
            common_causes=common_causes if common_causes else None
        )

        identified_estimand = model.identify_effect()
        estimate = model.estimate_effect(identified_estimand,
                                         method_name="backdoor.linear_regression")

        refute = model.refute_estimate(identified_estimand, estimate,
                                       method_name="placebo_treatment_refuter")

        results.append({
            "Outcome": outcome,
            "Treatment": treatment,
            "Estimated_Effect": estimate.value,
            "Placebo_Effect": refute.new_effect,
            "P_Value": refute.refutation_result.get("p_value", None)
        })

results_df = pd.DataFrame(results)
print(results_df)

📊 出力例

  Outcome Treatment  Estimated_Effect  Placebo_Effect   P_Value
0      Y1        X1          0.52         ~0            0.00
1      Y1        X2          1.24         ~0            0.00
2      Y2        X2          2.71         ~0            0.00

🔍 Placebo検証の読み解き方

  • Estimated_Effect: 本来の因果推定値
  • Placebo_Effect: 偽のトリートメントを使った再推定値（理論上は0に近いべき）
  • P_Value: 本来の効果と偽の効果が統計的に有意に異なるか（小さいほど「偶然ではない」）

解釈：
Placebo効果がゼロに近く、p値が0に近い ⇒ 元の推定は「信頼できる可能性が高い」。

📘 補足：DoWhyとSEMの違い

DoWhyは、因果構造全体の適合度指標（CFIやRMSEAなど）は提供しません。
代わりに、推定値の信頼性をrefutation（反証）メカニズムでチェックします。

もし「モデル全体の整合性」を評価したい場合は、semopy などのSEMライブラリの併用を検討するとよいでしょう。

✏️ おわりに

因果推論を「コードで自動化する」ことと、「結果の信頼性を評価する」ことの両立が、実務的にはとても重要です。
今回紹介した方法は、小規模な実験や仮説検証にとても役立つので、ぜひ試してみてください。

ご希望であれば、この内容をMarkdown形式やブログCMS向けに整形してお渡しすることもできます。必要ですか？

user:

ありがとうございます。今日はこれで大丈夫です。今後もまたよろしくお願いしますね！

assistant:

こちらこそ、ありがとうございました！
いつでもお気軽にご相談ください。因果推論やPython関連の内容、ブログ記事の執筆サポートまで、またお手伝いできるのを楽しみにしています。

どうぞ良い一日をお過ごしください！またお会いしましょう 😊

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?