LoginSignup
1
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@maskot1977(Ikemen Mas Kot)

機械学習×時系列分析：LASSO・リッジで因果関係を探る

Posted at

user:

先日は、Granger因果性の計算における多重共線性の影響を抑えるために、次のようにLASSO回帰を用いる方法を実装しました。

import numpy as np
import pandas as pd
from sklearn.linear_model import LassoCV
from sklearn.preprocessing import StandardScaler

# 乱数シード設定
np.random.seed(42)

# 人工データの作成
n_samples = 100
X = np.cumsum(np.random.randn(n_samples))  # ランダムウォーク
Y = 0.5 * np.roll(X, 1) + np.random.randn(n_samples) * 0.5  # Xのラグを持つY

# データフレーム化
df = pd.DataFrame({'X': X, 'Y': Y})

# ラグ付きデータの作成（最大3ラグ）
def create_lagged_features(df, lag=3):
    df_lagged = df.copy()
    for i in range(1, lag + 1):
        df_lagged[f'X_lag{i}'] = df['X'].shift(i)
        df_lagged[f'Y_lag{i}'] = df['Y'].shift(i)
    return df_lagged.dropna()

df_lagged = create_lagged_features(df, lag=3)

# 説明変数と目的変数を定義
target = 'Y'
lags = [col for col in df_lagged.columns if 'lag' in col]  # すべてのラグ変数

X_train = df_lagged[lags]
y_train = df_lagged[target]

# 特徴量の標準化
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)

# クロスバリデーション付きのLASSO回帰
lasso = LassoCV(alphas=np.logspace(-3, 3, 100), cv=5)
lasso.fit(X_train_scaled, y_train)

# モデルの係数を取得
coef_df = pd.DataFrame({'Feature': lags, 'Coefficient': lasso.coef_})
print(coef_df)

# Xのラグ変数に関する係数を取得
X_lag_coefs = coef_df[coef_df['Feature'].str.contains('X_lag')]['Coefficient']

# Granger因果性の判定
if np.any(np.abs(X_lag_coefs) > 0):
    print("Granger因果性あり（X → Y）")
else:
    print("Granger因果性なし（X → Y）")

今回は、統計的な有意性（p値）が欲しいので、上記のコードをベースに、LASSOの選択頻度（異なるデータサブセットでLASSOを繰り返し適用）を考慮するコードに改良してください。

assistant:

LASSOの選択頻度を考慮するため、ブートストラップ法を用いてLASSO回帰を繰り返し適用し、各変数が選択される確率を算出します。この選択頻度をもとに、Granger因果性の有無を統計的に評価できるようにします。

import numpy as np
import pandas as pd
from sklearn.linear_model import LassoCV
from sklearn.preprocessing import StandardScaler
from sklearn.utils import resample

# 乱数シード設定
np.random.seed(42)

# 人工データの作成
n_samples = 100
X = np.cumsum(np.random.randn(n_samples))  # ランダムウォーク
Y = 0.5 * np.roll(X, 1) + np.random.randn(n_samples) * 0.5  # Xのラグを持つY

df = pd.DataFrame({'X': X, 'Y': Y})

# ラグ付きデータの作成（最大3ラグ）
def create_lagged_features(df, lag=3):
    df_lagged = df.copy()
    for i in range(1, lag + 1):
        df_lagged[f'X_lag{i}'] = df['X'].shift(i)
        df_lagged[f'Y_lag{i}'] = df['Y'].shift(i)
    return df_lagged.dropna()

df_lagged = create_lagged_features(df, lag=3)

# 説明変数と目的変数を定義
target = 'Y'
lags = [col for col in df_lagged.columns if 'lag' in col]

X_train = df_lagged[lags]
y_train = df_lagged[target]

# 特徴量の標準化
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)

# ブートストラップによる選択頻度計算
n_bootstraps = 100
selected_counts = np.zeros(len(lags))

for _ in range(n_bootstraps):
    X_resampled, y_resampled = resample(X_train_scaled, y_train, random_state=None)
    lasso = LassoCV(alphas=np.logspace(-3, 3, 100), cv=5)
    lasso.fit(X_resampled, y_resampled)
    selected_counts += (lasso.coef_ != 0)

# 選択確率の算出
selection_probabilities = selected_counts / n_bootstraps
coef_df = pd.DataFrame({'Feature': lags, 'Selection Probability': selection_probabilities})

# Xのラグ変数に関する選択確率
X_lag_probs = coef_df[coef_df['Feature'].str.contains('X_lag')]['Selection Probability']

# Granger因果性の判定（閾値 0.5 を基準）
if np.any(X_lag_probs > 0.5):
    print("Granger因果性あり（X → Y）")
else:
    print("Granger因果性なし（X → Y）")

print(coef_df)

このコードでは、ブートストラップ法を用いてLASSO回帰を繰り返し適用し、各変数が選択される確率を算出しています。選択頻度が 50%以上のラグ変数があれば、Granger因果性があると判断します。閾値は適宜調整可能です。

user:

ありがとうございます。次のような結果が得られました。結果を解釈してください。

Granger因果性あり（X → Y）
  Feature  Selection Probability
0  X_lag1                   1.00
1  Y_lag1                   0.35
2  X_lag2                   0.62
3  Y_lag2                   0.47
4  X_lag3                   0.31
5  Y_lag3                   0.66

assistant:

この結果の解釈は以下のようになります。

  1. Granger因果性の判定

    • X_lag1（Xの1期前の値）が**100%**の確率で選択されており、これはXの過去の値がYの予測に強く寄与していることを示しています。
    • X_lag2（Xの2期前の値）も62%の確率で選択されており、一定の影響があると考えられます。
    • X_lag3 は31%の選択確率であり、影響は比較的弱いですが、無視できるほど小さくはありません。
    • これらの結果から、Xの過去の値がYの将来の値を予測するのに役立つため、**Granger因果性がある（X → Y）**と判定されました。

  2. Yの自己回帰的な影響

    • Y_lag1（Yの1期前の値）は35%、Y_lag2 は47%、Y_lag3 は66%の確率で選択されています。
    • 特に Y_lag3 は66%の選択確率であり、自己回帰的な構造があることが示唆されます（つまり、Y自身の過去の値もYの予測に影響を与える）。
    • ただし、Y_lag1 や Y_lag2 の選択確率は50%未満であり、自己回帰の影響はそれほど強くない可能性があります。

  3. 全体的な解釈

    • X_lag1 と X_lag2 の選択確率が高いため、Xの過去の値がYを予測するのに重要であることが確認されました。
    • これは、XがYの将来の値に因果的な影響を与えている可能性を示唆します。
    • 一方で、Y自身のラグ変数も一定の影響を持っていますが、それだけではYの予測を十分に説明できず、Xの影響が重要であると考えられます。

結論

この結果を踏まえると、「Xの過去の値がYを予測するのに有効であり、Granger因果性がある」と判断できます。Xの影響は特に直近の1期前（X_lag1）で強く、2期前（X_lag2）もある程度影響を持つことが分かります。

user:

ブートストラップしなかった場合の結果は、次の通りでした。ブートストラップした場合と合わせて、どのような解釈ができますか？

Granger因果性あり（X → Y）
  Feature  Coefficient
0  X_lag1     2.275388
1  Y_lag1    -0.000000
2  X_lag2     0.000000
3  Y_lag2    -0.000000
4  X_lag3    -0.000000
5  Y_lag3     0.030755

assistant:

ブートストラップなしの場合の解釈

ブートストラップなしの場合（通常のLASSO回帰）では、選択された変数と係数は以下のようになっています。

  • X_lag1 の係数が 2.275 であり、これは X の 1 期前の値が Y を強く予測することを示しています。
  • X_lag2 および X_lag3 の係数は 0 であり、LASSOによるスパース化の影響で、これらのラグ変数は削除されています。
  • Y_lag1 や Y_lag2 の係数も 0 であり、自己回帰的な影響は弱いと判断されました。
  • Y_lag3 の係数が 0.030755 で、わずかに影響があることが示唆されますが、実質的にはほぼ無視できる水準です。

この結果から、「X の 1 期前の値が Y を予測する唯一の重要な変数であり、その他のラグ変数は影響がない」 と結論づけられます。

ブートストラップありとの比較・考察

ブートストラップありの結果では、以下の点が異なります。

Feature ブートストラップなし (LASSO) ブートストラップあり (選択確率)
X_lag1 2.275 (選択) 1.00 (常に選択)
X_lag2 0.000 (非選択) 0.62 (一定の影響あり)
X_lag3 0.000 (非選択) 0.31 (やや影響あり)
Y_lag1 0.000 (非選択) 0.35 (一部選択)
Y_lag2 0.000 (非選択) 0.47 (一部選択)
Y_lag3 0.031 (小さい影響) 0.66 (比較的高頻度で選択)

この違いから、次のような解釈ができます。

  1. LASSO単独の結果は、一度の学習データのみに依存しており、不確実性が考慮されていない

    • LASSOでは、X_lag1 だけが明確に選択され、それ以外のラグ変数はスパース化の影響で係数が 0 になっている。
    • ただし、この結果は特定のデータセットに依存しており、異なるデータセットでは別の変数が選ばれる可能性がある。

  2. ブートストラップを行うことで、選択される変数の不確実性を考慮できる

    • X_lag1 はブートストラップでも 100% 選択されており、確実に重要な変数であることが確認できる。
    • X_lag2 は LASSO単独ではスパース化により削除されたが、ブートストラップでは 62% の確率で選択されており、一定の影響がある可能性が示唆される。
    • X_lag3 も 31% の確率で選択されており、無視はできないが、それほど強い影響ではないことが分かる。
    • Y_lag3 は 66% の確率で選択されており、自己回帰的な影響もある程度考慮すべきことが示されている。

  3. LASSO単独では重要な変数を過度にスパース化する可能性がある

    • LASSOは一度の最適化で最も影響の強い変数を選択するため、データのばらつきや特定のサンプルによる偏りが影響しやすい。
    • ブートストラップを併用することで、「特定の変数がどれくらいの確率で選ばれるか」を考慮し、より頑健な変数選択ができる。

結論

  • LASSO単独の結果では、X_lag1 の影響が最も強く、それ以外の変数はほぼ無視される。
  • ブートストラップを用いることで、X_lag2 や X_lag3 も一定の影響を持つ可能性があることが分かる。
  • また、Y_lag3 も比較的高い選択頻度を持ち、自己回帰的な影響も無視できないことが示唆される。
  • したがって、Granger因果性をより厳密に評価する場合、ブートストラップを併用した方法がより信頼性の高い結果を提供できる。

user:

同じデータでリッジ回帰した場合は次のような結果でした。LASSO回帰（ブートストラップなし・あり）の結果と合わせて、どのような解釈ができますか？

  Feature  Coefficient
0  X_lag1     2.064536
1  Y_lag1    -0.202087
2  X_lag2     0.575275
3  Y_lag2    -0.157769
4  X_lag3    -0.068836
5  Y_lag3     0.089708

assistant:

リッジ回帰の結果の解釈

リッジ回帰ではすべての変数が係数を持つため、LASSO回帰と比較すると以下の点が分かります。

  1. X_lag1 は依然として最も大きな影響を持つ

    • 係数 2.064 であり、LASSO（2.275）と同様に X の 1 期前の値が Y の予測に強く寄与していることが確認できる。

  2. X_lag2 も影響を持つことが明確に示された

    • 係数 0.575 であり、LASSOではゼロにされていたが、リッジ回帰ではスパース化されずに影響があることが分かる。
    • これは、ブートストラップありの LASSOで X_lag2 の選択確率が 62% だったこととも一致しており、X_lag2 も無視できない要因である可能性が高い。

  3. X_lag3 の影響は小さい

    • 係数 -0.069 であり、LASSO単独では 0 にされ、ブートストラップありの LASSOでは 選択確率 31% だったことからも、影響が弱いことが再確認された。

  4. Y の自己回帰的な影響も示唆される

    • Y_lag1（係数 -0.202）、Y_lag2（係数 -0.158）、Y_lag3（係数 0.090）は、それぞれ一定の影響を持つ。
    • これは、LASSOのブートストラップで Y_lag3 の選択確率が 66% と比較的高かったこととも一致する。
    • つまり、Y の自己回帰的な影響もある程度考慮する必要がある。

LASSO（ブートストラップなし・あり）との比較

Feature LASSOなし (係数) LASSOあり (選択確率) リッジ回帰 (係数)
X_lag1 2.275 1.00 (常に選択) 2.065
X_lag2 0.000 0.62 (一定の影響) 0.575
X_lag3 0.000 0.31 (やや影響あり) -0.069
Y_lag1 0.000 0.35 (一部選択) -0.202
Y_lag2 0.000 0.47 (一部選択) -0.158
Y_lag3 0.031 0.66 (比較的高頻度) 0.090
  • LASSO（ブートストラップなし） は最もスパースな結果を与え、X_lag1 のみが強調される。
  • LASSO（ブートストラップあり） は X_lag2 や Y_lag3 などの追加の影響を示唆するが、完全には定量化できない。
  • リッジ回帰 はスパース化せず、すべての変数の影響を考慮するため、X_lag2 や Y_lagの影響をより明確に示す。

結論と考察

  1. X_lag1 の影響はどの手法でも強く、Granger因果性は確実にある

    • すべての手法で X_lag1 の影響が大きいため、X → Y の Granger因果性があることは確実。

  2. X_lag2 も一定の影響を持つ可能性が高い

    • LASSO単独では削除されたが、ブートストラップ付き LASSOでは 62% の確率で選択され、リッジ回帰でも係数 0.575 が確認された。
    • したがって、X_lag2 も Y の予測に寄与する可能性がある。

  3. X_lag3 は影響が小さい

    • ブートストラップ付き LASSOでも選択確率は 31% にとどまり、リッジ回帰でも係数が -0.069 と小さい。
    • 影響は弱いため、考慮する必要はあるが、主要な要因ではなさそう。

  4. Y の自己回帰的な影響も一定程度ある

    • LASSO単独では削除されたが、ブートストラップでは Y_lag3 が 66% で選択され、リッジ回帰でも係数 0.090 が確認された。
    • これは、Y 自身の過去の値も Y の予測に影響を与えることを示している。

最適な分析手法について

  • LASSO単独（ブートストラップなし） は、最も重要な変数を強調し、シンプルなモデルを得るのに適している。
  • LASSO（ブートストラップあり） は、変数の選択の不確実性を考慮し、より頑健な変数選択を行える。
  • リッジ回帰 は、スパース化せずにすべての変数の影響を捉えられるが、解釈がやや難しくなる。

したがって、Granger因果性の有無をシンプルに判断するなら LASSO、変数選択の不確実性を考慮するならブートストラップ付き LASSO、より詳細な影響分析をするならリッジ回帰が適している。

user:

ありがとうございます。リッジ回帰は次のようなコードで実装しましたが、リッジ回帰の係数分布（交差検証でリッジ回帰を複数回適用して分布を得る）を考慮したい場合、コードをどのように書き換えればいいか提案してください。

from sklearn.linear_model import RidgeCV
# 説明変数と目的変数を定義
target = 'Y'  # 予測対象
lags = [col for col in df_lagged.columns if 'lag' in col]  # 全ラグ変数

X_train = df_lagged[lags]
y_train = df_lagged[target]

# 特徴量の標準化
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)

# クロスバリデーション付きのリッジ回帰
ridge = RidgeCV(alphas=np.logspace(-3, 3, 10), store_cv_values=True)
ridge.fit(X_train_scaled, y_train)

# モデルの係数を取得
coef_df = pd.DataFrame({'Feature': lags, 'Coefficient': ridge.coef_})
print(coef_df)

  Feature  Coefficient
0  X_lag1     2.064536
1  Y_lag1    -0.202087
2  X_lag2     0.575275
3  Y_lag2    -0.157769
4  X_lag3    -0.068836
5  Y_lag3     0.089708

assistant:

リッジ回帰の係数分布を考慮するには、以下のような方法が考えられます。

  1. 交差検証の異なる分割でリッジ回帰を複数回適用し、各回の係数を記録する。
  2. ブートストラップ（データをランダムサンプリングしてリッジ回帰を繰り返す）を適用し、係数の分布を取得する。

コード修正案

以下のコードでは、リッジ回帰を KFold 交差検証（または ShuffleSplit）を用いて繰り返し実行し、各回の係数を保存して分布を得るようにしています。

import numpy as np
import pandas as pd
from sklearn.linear_model import RidgeCV
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import KFold

# 交差検証の分割数
n_splits = 10  # 例えば10分割交差検証
alphas = np.logspace(-3, 3, 10)  # 正則化パラメータ

# 説明変数と目的変数を定義
target = 'Y'
lags = [col for col in df_lagged.columns if 'lag' in col]  # 全ラグ変数

X = df_lagged[lags].values
y = df_lagged[target].values

# 特徴量の標準化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 交差検証のセットアップ
kf = KFold(n_splits=n_splits, shuffle=True, random_state=42)

# 各回の係数を保存するリスト
ridge_coefs = []

# 交差検証を用いたリッジ回帰
for train_index, test_index in kf.split(X_scaled):
    X_train, X_test = X_scaled[train_index], X_scaled[test_index]
    y_train, y_test = y[train_index], y[test_index]

    ridge = RidgeCV(alphas=alphas, store_cv_values=True)
    ridge.fit(X_train, y_train)

    ridge_coefs.append(ridge.coef_)  # 係数を保存

# 係数の分布を取得
ridge_coefs = np.array(ridge_coefs)  # (n_splits, n_features)

# 係数の統計量を計算
coef_summary = pd.DataFrame({
    'Feature': lags,
    'Mean Coefficient': ridge_coefs.mean(axis=0),
    'Std Coefficient': ridge_coefs.std(axis=0),
    'Min Coefficient': ridge_coefs.min(axis=0),
    'Max Coefficient': ridge_coefs.max(axis=0)
})

# 結果の表示
print(coef_summary)

この修正のポイント

  1. KFold 交差検証を用いて、リッジ回帰を複数回適用

    • 各分割で学習データと検証データを変え、リッジ回帰を実行することで、係数の変動を測定。
    • RidgeCV を用いることで、最適な α を自動選択。

  2. 係数の分布（平均、標準偏差、最小・最大値）を取得

    • 係数がどの程度安定しているかを評価可能。
    • 例えば、標準偏差が大きい変数はデータに依存して変動しやすい。

  3. 交差検証に shuffle=True を設定

    • データをランダムにシャッフルすることで、バイアスを減らす。

追加の発展

より強固な係数分布の推定を行いたい場合、ブートストラップ を適用することも可能です。

from sklearn.utils import resample

n_bootstrap = 100  # ブートストラップの試行回数
ridge_coefs_bootstrap = []

for _ in range(n_bootstrap):
    X_resampled, y_resampled = resample(X_scaled, y, random_state=np.random.randint(10000))
    
    ridge = RidgeCV(alphas=alphas, store_cv_values=True)
    ridge.fit(X_resampled, y_resampled)

    ridge_coefs_bootstrap.append(ridge.coef_)

ridge_coefs_bootstrap = np.array(ridge_coefs_bootstrap)

# 係数の分布を取得
coef_summary_bootstrap = pd.DataFrame({
    'Feature': lags,
    'Mean Coefficient': ridge_coefs_bootstrap.mean(axis=0),
    'Std Coefficient': ridge_coefs_bootstrap.std(axis=0),
    'Min Coefficient': ridge_coefs_bootstrap.min(axis=0),
    'Max Coefficient': ridge_coefs_bootstrap.max(axis=0)
})

print(coef_summary_bootstrap)

考察

  • リッジ回帰の係数分布を得ることで、各ラグ変数の影響の安定性が確認できる。
  • LASSOとは異なり、全ての変数が係数を持つため、「どの変数が安定して影響を持つのか」を見極めやすい。
  • 標準偏差が大きい変数は、データの変動によって影響が不安定である可能性がある。
  • ブートストラップを用いることで、サンプルの違いによる変動も考慮できる。

このように、リッジ回帰の係数分布を考慮することで、より頑健な変数選択と解釈が可能になります。

user:

ありがとうございます。最初の、交差検証を用いたコードでは次の結果が得られました。

  Feature  Mean Coefficient  Std Coefficient  Min Coefficient  Max Coefficient
0  X_lag1          2.047528         0.050061         1.988070         2.143440
1  Y_lag1         -0.194627         0.065043        -0.281928        -0.049374
2  X_lag2          0.577322         0.086591         0.457523         0.769327
3  Y_lag2         -0.158289         0.041273        -0.212544        -0.074419
4  X_lag3         -0.060682         0.066159        -0.172645         0.015171
5  Y_lag3          0.089454         0.017515         0.062458         0.119764

次の、ブートストラップを用いたコードでは次の結果が得られました。

  Feature  Mean Coefficient  Std Coefficient  Min Coefficient  Max Coefficient
0  X_lag1          2.112941         0.258015         1.652205         2.837007
1  Y_lag1         -0.216717         0.171904        -0.749305         0.122836
2  X_lag2          0.585952         0.271177        -0.351060         1.158539
3  Y_lag2         -0.162247         0.201683        -0.706493         0.486695
4  X_lag3         -0.113284         0.397488        -1.086477         0.584753
5  Y_lag3          0.099698         0.120731        -0.201198         0.390910

どのような解釈ができますか？

assistant:

交差検証（KFold） vs. ブートストラップの結果の比較と解釈

(1) 交差検証（KFold）を用いた場合

Feature Mean Coefficient Std Coefficient Min Coefficient Max Coefficient
X_lag1 2.047528 0.050061 1.988070 2.143440
Y_lag1 -0.194627 0.065043 -0.281928 -0.049374
X_lag2 0.577322 0.086591 0.457523 0.769327
Y_lag2 -0.158289 0.041273 -0.212544 -0.074419
X_lag3 -0.060682 0.066159 -0.172645 0.015171
Y_lag3 0.089454 0.017515 0.062458 0.119764

(2) ブートストラップを用いた場合

Feature Mean Coefficient Std Coefficient Min Coefficient Max Coefficient
X_lag1 2.112941 0.258015 1.652205 2.837007
Y_lag1 -0.216717 0.171904 -0.749305 0.122836
X_lag2 0.585952 0.271177 -0.351060 1.158539
Y_lag2 -0.162247 0.201683 -0.706493 0.486695
X_lag3 -0.113284 0.397488 -1.086477 0.584753
Y_lag3 0.099698 0.120731 -0.201198 0.390910

結果の解釈

① X_lag1（Xの1期前）

  • KFold: 平均 2.05, 標準偏差 0.05, 最小 1.99, 最大 2.14
  • ブートストラップ: 平均 2.11, 標準偏差 0.26, 最小 1.65, 最大 2.84
  • 解釈:
    • X_lag1 の影響は 常に正の値 で、最も大きな影響を持っている。
    • 交差検証では値のブレが小さい（安定している）が、ブートストラップではばらつきが大きい。
    • これは「データのサンプリングに依存して係数の変動が大きくなる可能性がある」ことを示唆。
    • しかし、最小値が1.65と依然として正であるため、 X_lag1 は Y の予測に対して一貫して重要な変数 であると考えられる。

② X_lag2（Xの2期前）

  • KFold: 平均 0.58, 標準偏差 0.09, 最小 0.46, 最大 0.77
  • ブートストラップ: 平均 0.59, 標準偏差 0.27, 最小 -0.35, 最大 1.16
  • 解釈:
    • KFoldでは、X_lag2 の影響は一貫して 正 であり、影響は 0.46 〜 0.77 の範囲に収まっている。
    • 一方、ブートストラップでは、 最小値が -0.35 になることがある（符号が反転する可能性）。
    • これは、X_lag2 がデータセットの違いによって影響が変動することを意味する。
    • 結論: X_lag2 は一部のサンプルでは有意な影響を持つが、確実ではない。

③ X_lag3（Xの3期前）

  • KFold: 平均 -0.06, 標準偏差 0.07, 最小 -0.17, 最大 0.02
  • ブートストラップ: 平均 -0.11, 標準偏差 0.40, 最小 -1.09, 最大 0.58
  • 解釈:
    • KFoldではほぼ 0 に近いが、ブートストラップでは大きく変動（-1.09 〜 0.58）。
    • つまり、X_lag3 はサンプルの取り方によって大きく影響が変わる。
    • 結論: X_lag3 は安定した影響を持たず、Granger因果性の証拠としては弱い。

④ Y_lag1（Yの1期前）

  • KFold: 平均 -0.19, 標準偏差 0.07, 最小 -0.28, 最大 -0.05
  • ブートストラップ: 平均 -0.22, 標準偏差 0.17, 最小 -0.75, 最大 0.12
  • 解釈:
    • KFoldでは負の値が安定しているが、ブートストラップでは 最小値 -0.75, 最大値 0.12 となっており、場合によっては 正の影響を持つ可能性がある。
    • 結論: Y_lag1 は全体的に負の影響が強いが、一部のデータでは正に転じることがある。

⑤ Y_lag2, Y_lag3（Yの2・3期前）

  • KFold: 負の影響が一貫（Y_lag2: -0.16, Y_lag3: 0.09）
  • ブートストラップ: 影響がばらつき大（Y_lag2: -0.71 〜 0.49, Y_lag3: -0.20 〜 0.39）
  • 解釈:
    • KFoldでは、影響は比較的安定しているが、ブートストラップでは大きく変動。
    • 結論: Y_lag2, Y_lag3 はサンプル依存性が大きく、影響は不確実。

総合的な解釈

  1. X_lag1 の影響は一貫して強く、Granger因果性の有力な証拠。
  2. X_lag2 は影響が比較的大きいが、符号が変動する可能性があるため注意。
  3. X_lag3 は影響が不安定で、Granger因果性の証拠としては弱い。
  4. Y_lag1 は全体的に負の影響を持つが、正に転じる場合もあるため慎重な解釈が必要。
  5. Y_lag2, Y_lag3 は影響がばらつき大きく、予測変数としての信頼性は低い。

次のステップ

  • 信頼性の高い変数のみを用いたモデルを再構築し、精度を確認する。
  • 他の手法（例: Bayesian Ridge Regression, Elastic Net）を試す。
  • サンプル依存性が強い変数を除外し、モデルの頑健性を高める。

このような解釈ができます！

user:

ありがとうございました。今回の議論をブログ記事に書きたいのですが、タイトル案をいくつか提案していただけますか？

assistant:

ブログ記事のタイトル案をいくつか提案しますね！

分析結果を強調したタイトル

  1. 「Granger因果性をLASSOとリッジで検証！交差検証 vs. ブートストラップの違いとは？」
  2. 「Granger因果性の発見：LASSOとリッジ回帰の比較分析」
  3. 「リッジ vs. LASSOで探る因果関係 – Xは本当にYに影響を与えるのか？」

手法・考察を強調したタイトル

  1. 「ブートストラップと交差検証の違いを徹底検証！LASSO・リッジ回帰で見る因果推論」
  2. 「交差検証とブートストラップ、どっちを使うべき？Granger因果性の実証分析」
  3. 「LASSOとリッジ回帰での因果推論：多重共線性と選択の安定性を考える」

一般的な興味を引くタイトル

  1. 「データ分析の落とし穴？回帰手法の違いで変わるGranger因果性の結論」
  2. 「統計的因果推論のリアル：ブートストラップ vs. 交差検証で結果はどう変わる？」
  3. 「機械学習×時系列分析：LASSO・リッジで因果関係を探る！」

どれか気に入るものがあれば使ってください！カスタマイズしたい部分があれば言ってくださいね。

user:

ありがとうございます。「機械学習×時系列分析：LASSO・リッジで因果関係を探る」にしようと思います。最後に、今回のまとめを書いてください。

assistant:

記事のまとめとして、以下のような内容はいかがでしょうか？

まとめ：機械学習×時系列分析 – LASSO・リッジで因果関係を探る

本記事では、Granger因果性の検証を目的に、 LASSO回帰 と リッジ回帰 を用いた時系列分析を実施しました。さらに、 交差検証（KFold） と ブートストラップ の手法を比較し、回帰係数の安定性やサンプル依存性について詳しく考察しました。

主なポイント

  1. LASSO回帰では変数選択が可能だが、統計的な有意性を評価しにくい。

    • ブートストラップを用いることで、LASSOの選択頻度を分析し、より頑健なGranger因果性の判断が可能になった。
    • X_lag1（Xの1期前）は 一貫して選択され、Granger因果性が強く示唆された。

  2. リッジ回帰ではすべての変数が残るため、係数の安定性を評価しやすい。

    • 交差検証では係数の変動が小さかったが、ブートストラップでは大きくばらついた。
    • X_lag1 は一貫して大きな正の影響を持つが、X_lag2 や X_lag3 はサンプルによって影響が変動するため、慎重な解釈が必要。

  3. 交差検証（KFold）とブートストラップの比較

    • 交差検証では、回帰係数が比較的安定しており、モデルの汎化性能を確認するのに適している。
    • 一方、ブートストラップでは、データのサンプリング依存性を考慮し、係数の不確実性を評価できるが、ばらつきが大きくなる。
    • 「交差検証では一貫した影響が見られた変数でも、ブートストラップでは符号が反転する場合がある」 ことが分かり、モデルの解釈には注意が必要だと分かった。

結論

  • X_lag1 の影響は統計的に強く、Granger因果性の可能性が高い。
  • X_lag2 や X_lag3 の影響はサンプルによって変動するため、確実な因果関係とは言えない。
  • 回帰手法（LASSO vs. リッジ）や検証手法（交差検証 vs. ブートストラップ）によって結果が異なるため、解釈には慎重なアプローチが必要。

今後の課題

  • 他の因果推論手法（例: VARモデル、Granger検定、ベイズ回帰）と比較検証する。
  • 異なるデータセットや変数を追加し、モデルの一般化性能を高める。
  • 統計的検定（例えば、信頼区間やp値の計算）を併用し、より精度の高い因果推論を行う。

本記事を通じて、機械学習を用いた時系列因果分析の可能性と限界 を探ることができました。今後も異なる手法を組み合わせ、より確実な因果関係の推定を目指していきたいと思います！

このまとめで記事の締めくくりとしてどうでしょうか？ 追加したい点があれば教えてください！ 😊

1
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
1
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?