前回は、銀行の電話マーケティングデータを使い、データの確認から前処理、交差検証、モデル評価までの流れを見ました。

今回は、クレジットカード取引の不正検知を扱います。

クレジットカードの取引は、ほとんどが正常です。不正取引は全体のごく一部しかありません。そのため、通常の分類問題と同じ感覚で正解率を最大化しても、実務で役立つモデルにはなりません。

今回の中心テーマは、次の3点です。

極端に少ない不正取引を、どの評価指標で測るか
RandomOverSampler、SMOTE、SMOTETomek をどう使うか
再サンプリングによる情報漏洩をどう防ぐか

目次

不正検知の目的とデータセットの出典
データの構成と各変数の意味
データを読み込み、クラス分布を確認する
なぜ正解率だけでは評価できないのか
訓練データとテストデータを層化分割する
RandomOverSampler：少数クラスを複製する
SMOTE：少数クラスの合成サンプルを作る
SMOTETomek：合成と境界整理を組み合わせる
再サンプリングを交差検証の内側へ入れる
決定木で再サンプリング方法を比較する
ロジスティック回帰、ランダムフォレスト、GBDT を比較する
PR-AUC、ROC-AUC、再現率、適合率を読む
ハイパーパラメータを探索する
不正検知モデルを実運用へつなげる
まとめ

1. 不正検知の目的とデータセットの出典

クレジットカード会社には、不正な取引を早期に見つけ、カード会員が購入していない商品やサービスの代金を請求されないようにする役割があります。

今回の課題は、1件ごとの取引を次の2クラスへ分類することです。

Class = 0：正常取引
Class = 1：不正取引

1.1 公開元

データセットは Kaggle で公開されています。

公開ページ：Credit Card Fraud Detection
データセット所有者：Machine Learning Group - ULB
ライセンス：Open Database License / Database Contents License

このデータは、決済サービス企業 Worldline と、ベルギーのブリュッセル自由大学 ULB の Machine Learning Group による共同研究の中で収集・分析されました。

関連研究として、公開ページでは次の論文などが紹介されています。

Andrea Dal Pozzolo, Olivier Caelen, Reid A. Johnson, Gianluca Bontempi,
“Calibrating Probability with Undersampling for Unbalanced Classification,”
IEEE Symposium Series on Computational Intelligence, 2015.
DOI: 10.1109/SSCI.2015.33

1.2 データの概要

このデータには、2013年9月に欧州のカード会員が行った、約2日間の取引が収録されています。

項目	内容
取引件数	284,807件
正常取引	284,315件
不正取引	492件
不正取引の割合	約0.1727%
列数	31列

不正取引は約579件に1件しかありません。

$$
\frac{492}{284807}
\approx 0.001727
=0.1727%
$$

これは、極端なクラス不均衡を持つ2値分類問題です。

2. データの構成と各変数の意味

データには、Time、V1 から V28、Amount、Class が含まれます。

列名	意味
`Time`	データ内の最初の取引から、その取引までに経過した秒数
`V1`〜`V28`	PCA によって変換された28個の主成分
`Amount`	取引金額
`Class`	正常なら0、不正なら1

2.1 `V1` から `V28` が匿名化されている理由

クレジットカード取引には、カード会員、加盟店、端末、地域、時刻など、機密性の高い情報が含まれます。

そのため、元の特徴量名や具体的な内容は公開されていません。V1 から V28 は、元の変数を PCA で変換した主成分です。

PCA により、元の特徴量空間は互いに相関の小さい新しい軸へ写されています。

$$
Z=XW
$$

ここで、$X$ は元の特徴量、$W$ は主成分方向、$Z$ は変換後の特徴量です。

この匿名化には、次の制約があります。

V1 が業務上何を意味するかを説明できない
取引地域や加盟店種別といった元の情報を直接分析できない
モデルの説明は、主成分に対する説明に限られる

一方、Time と Amount は PCA 変換されていません。

2.2 `Time` が表す期間

Time の最大値は172,792秒です。

$$
\frac{172792}{3600}
\approx47.998
$$

したがって、データは約48時間、つまり約2日間の取引を表しています。

3. データを読み込み、クラス分布を確認する

3.1 ライブラリを読み込む

import matplotlib.pyplot as plt
import pandas as pd
import seaborn as sns

from imblearn.combine import SMOTETomek
from imblearn.over_sampling import RandomOverSampler, SMOTE
from imblearn.pipeline import Pipeline

from sklearn.compose import ColumnTransformer
from sklearn.ensemble import (
    GradientBoostingClassifier,
    RandomForestClassifier,
)
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import (
    ConfusionMatrixDisplay,
    PrecisionRecallDisplay,
    RocCurveDisplay,
    average_precision_score,
    classification_report,
    roc_auc_score,
)
from sklearn.model_selection import (
    GridSearchCV,
    StratifiedKFold,
    StratifiedShuffleSplit,
    cross_validate,
    train_test_split,
)
from sklearn.preprocessing import RobustScaler
from sklearn.tree import DecisionTreeClassifier

再サンプリングには imbalanced-learn を使います。未導入の場合は、次のコマンドでインストールできます。

pip install imbalanced-learn

3.2 CSVを読み込む

creditcard.csv を data フォルダに置いた場合は、次のように読み込めます。

data = pd.read_csv("./data/creditcard.csv")

print(data.shape)
data.head()

(284807, 31)

欠損値も確認します。

data.isna().sum().sum()

このデータに欠損値はありません。

3.3 正常取引と不正取引の件数

class_counts = data["Class"].value_counts().sort_index()
class_rates = data["Class"].value_counts(normalize=True).sort_index()

print(class_counts)
print(class_rates)

Class
0    284315
1       492

棒グラフでも確認します。

fig, ax = plt.subplots(figsize=(7, 5))

sns.countplot(
    data=data,
    x="Class",
    hue="Class",
    legend=False,
    ax=ax,
)

ax.set_yscale("log")
ax.set_title("正常取引と不正取引の件数")
ax.set_xlabel("Class")
ax.set_ylabel("件数（対数目盛）")
plt.show()

通常の目盛では不正取引の棒がほとんど見えないため、ここでは縦軸を対数目盛にしています。

3.4 取引金額を確認する

amount_summary = (
    data.groupby("Class")["Amount"]
    .agg(["count", "mean", "median", "max"])
)

amount_summary

結果は次の通りです。

Class	件数	平均	中央値	最大値
0	284,315	88.29	22.00	25,691.16
1	492	122.21	9.25	2,125.87

不正取引は正常取引より平均金額が高い一方、中央値は低くなっています。分布が大きく歪んでいるため、平均値だけで特徴を判断しないようにします。

4. なぜ正解率だけでは評価できないのか

すべての取引を「正常」と予測するモデルを考えます。

このモデルの正解率は、次の通りです。

$$
\mathrm{Accuracy}
=\frac{284315}{284807}
\approx0.998273
$$

約99.83%という非常に高い正解率です。

しかし、このモデルは492件の不正取引を1件も検知できません。実務上は役に立たないモデルです。

4.1 混同行列

不正取引を陽性クラスとすると、混同行列は次の4要素で表せます。

	不正と予測	正常と予測
実際に不正	TP	FN
実際に正常	FP	TN

TP：不正を正しく検知した
FN：不正を見逃した
FP：正常取引を誤って止めた
TN：正常取引を正しく通した

4.2 再現率

再現率は、実際の不正取引のうち、どれだけ検知できたかを表します。

$$
\mathrm{Recall}
=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}
$$

再現率を高めると、不正の見逃しを減らせます。

4.3 適合率

適合率は、不正と判定した取引のうち、実際に不正だった割合です。

$$
\mathrm{Precision}
=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}
$$

適合率が低いと、多くの正常取引を止めることになり、顧客体験や調査コストが悪化します。

4.4 F1スコア

F1スコアは、適合率と再現率の調和平均です。

$$
\mathrm{F1}
=2\frac{\mathrm{Precision}\times\mathrm{Recall}}
{\mathrm{Precision}+\mathrm{Recall}}
$$

4.5 PR-AUC

Precision-Recall 曲線は、しきい値を変えたときの適合率と再現率の関係を表します。

このデータのように陽性クラスが極端に少ない場合、ROC-AUC が高く見えても、実際の適合率が低いことがあります。そのため、公開元でも Precision-Recall 曲線の面積、つまり PR-AUC を使うことが推奨されています。

Scikit-learn では、PR-AUC に近い要約値として Average Precision を計算できます。

average_precision_score(y_true, fraud_probability)

ランダムな順位付けにおける Average Precision の基準値は、ほぼ陽性率と同じです。このデータでは約0.001727です。

5. 訓練データとテストデータを層化分割する

5.1 説明変数と目的変数を分ける

X = data.drop(columns="Class")
y = data["Class"]

Time と Amount も予測時に利用できる取引情報なので、ここでは説明変数に含めます。

5.2 `train_test_split` で層化分割する

X_train, X_test, y_train, y_test = train_test_split(
    X,
    y,
    test_size=0.20,
    stratify=y,
    random_state=42,
)

stratify=y を指定すると、訓練データとテストデータで不正取引の割合がほぼ同じになります。

print(y_train.value_counts(normalize=True))
print(y_test.value_counts(normalize=True))

今回の分割では、テストデータに約98件の不正取引が含まれます。件数が少ないため、わずか数件の予測結果でも再現率や適合率が大きく変化します。

5.3 `StratifiedShuffleSplit` を使う方法

層化分割を明示的に制御したい場合は、StratifiedShuffleSplit も使えます。

splitter = StratifiedShuffleSplit(
    n_splits=1,
    test_size=0.20,
    random_state=42,
)

for train_index, test_index in splitter.split(X, y):
    X_train = X.iloc[train_index]
    X_test = X.iloc[test_index]
    y_train = y.iloc[train_index]
    y_test = y.iloc[test_index]

StratifiedShuffleSplit はデータを無作為に並べ替えながら、各分割のクラス比率を保ちます。

5.4 `Time` と `Amount` をスケーリングする

V1 から V28 は PCA で変換されていますが、Time と Amount は変換されていません。

外れ値の影響を受けにくい RobustScaler を使います。

scale_features = ["Time", "Amount"]

preprocessor = ColumnTransformer(
    transformers=[
        (
            "scale",
            RobustScaler(),
            scale_features,
        ),
    ],
    remainder="passthrough",
)

remainder="passthrough" により、V1 から V28 はそのまま後段へ渡されます。

6. RandomOverSampler：少数クラスを複製する

RandomOverSampler は、少数クラスからランダムにサンプルを選び、複製する方法です。

random_sampler = RandomOverSampler(
    sampling_strategy="auto",
    random_state=42,
)

sampling_strategy="auto" を指定すると、多数クラスと少数クラスの件数が同じになるまで少数クラスを増やします。

6.1 長所

仕組みが単純で分かりやすい
元の少数クラスの分布を勝手に変形しない
計算が比較的速い

6.2 注意点

同じ少数サンプルを何度も学習するため、過学習しやすい
1対1まで増やすとデータ量がほぼ2倍になる
元の不正率が変わるため、予測確率が実際の発生確率と一致しにくくなる

完全に1対1へそろえる必要はありません。たとえば、少数クラスを多数クラスの10%まで増やすなら、次のようにします。

random_sampler = RandomOverSampler(
    sampling_strategy=0.10,
    random_state=42,
)

7. SMOTE：少数クラスの合成サンプルを作る

SMOTE は Synthetic Minority Over-sampling Technique の略です。

RandomOverSampler が既存サンプルを複製するのに対し、SMOTE は少数クラスの近傍サンプル同士を結ぶ線分上に、新しい合成サンプルを作ります。

少数クラスのサンプル $x_i$ と、その近傍 $x_j$ を使うと、合成サンプルは次のように表せます。

$$
x_{\mathrm{new}}
=x_i+\lambda(x_j-x_i),
\qquad 0\leq\lambda\leq1
$$

smote = SMOTE(
    sampling_strategy="auto",
    k_neighbors=5,
    random_state=42,
)

7.1 長所

同じデータを単純に複製するより、少数クラスの分布を広げられる
決定境界を学習しやすくなる場合がある

7.2 注意点

少数クラスの外れ値の周囲にも合成サンプルを作る可能性がある
クラス境界が重なる領域に不自然なサンプルを作る可能性がある
カテゴリ変数を単純な数値として補間してはいけない
距離計算を使うため、特徴量のスケールに注意が必要

今回の V1 から V28 は連続値の主成分なので、SMOTE を適用できます。ただし、合成された点が現実の取引として自然かどうかは、匿名化データから判断できません。

8. SMOTETomek：合成と境界整理を組み合わせる

SMOTETomek は、SMOTE と Tomek Links を組み合わせた方法です。

まず SMOTE で少数クラスを増やし、その後、異なるクラス同士で互いに最近傍となる境界付近のペアを整理します。

smote_tomek = SMOTETomek(
    sampling_strategy="auto",
    random_state=42,
)

8.1 長所

少数クラスを増やしながら、境界の重なりも整理できる
単純な過剰サンプリングより、決定境界が明確になる場合がある

8.2 注意点

SMOTE 単体より計算量が大きい
Tomek Links で削除される点が、必ずしもノイズとは限らない
不正検知では、境界付近の難しい取引こそ重要な場合がある

9. 再サンプリングを交差検証の内側へ入れる

再サンプリングで最も重要なのは、訓練データだけに適用することです。

9.1 分割前に再サンプリングしてはいけない

全データを先に過剰サンプリングしてから訓練・テストへ分けると、複製された同じサンプルや、非常に近い合成サンプルが両方へ入る可能性があります。

これでは、未知データに対する性能を正しく評価できません。

9.2 交差検証の前に一度だけ再サンプリングしてもいけない

訓練データ全体を再サンプリングしてから K-fold 交差検証へ渡す方法にも、同じ問題があります。

合成サンプルを作るときに、後で検証用になるデータの情報まで使ってしまうからです。

正しい順序は次の通りです。

9.3 `imblearn.pipeline.Pipeline` を使う

Scikit-learn の通常の変換器は fit() と transform() を使いますが、サンプラーは fit_resample() を使います。

そのため、再サンプリングを Pipeline に入れる場合は、sklearn.pipeline.Pipeline ではなく imblearn.pipeline.Pipeline を使います。

fraud_pipeline = Pipeline([
    ("preprocess", preprocessor),
    (
        "sampler",
        RandomOverSampler(
            sampling_strategy=0.10,
            random_state=42,
        ),
    ),
    (
        "model",
        LogisticRegression(
            max_iter=2000,
            random_state=42,
        ),
    ),
])

この Pipeline を cross_validate() や GridSearchCV へ渡せば、各foldの学習部分だけが再サンプリングされます。

検証データとテストデータは、現実の不均衡な比率のまま評価されます。

10. 決定木で再サンプリング方法を比較する

再サンプリング方法だけを比較するため、分類器を同じ決定木に固定します。

比較対象は次の4つです。

再サンプリングなし
RandomOverSampler
SMOTE
SMOTETomek

10.1 評価用の交差検証

cv = StratifiedKFold(
    n_splits=3,
    shuffle=True,
    random_state=42,
)

scoring = {
    "pr_auc": "average_precision",
    "roc_auc": "roc_auc",
    "precision": "precision",
    "recall": "recall",
    "f1": "f1",
}

10.2 各サンプリング方法を定義する

samplers = {
    "再サンプリングなし": "passthrough",
    "RandomOverSampler": RandomOverSampler(
        sampling_strategy=0.10,
        random_state=42,
    ),
    "SMOTE": SMOTE(
        sampling_strategy=0.10,
        random_state=42,
    ),
    "SMOTETomek": SMOTETomek(
        sampling_strategy=0.10,
        random_state=42,
    ),
}

不正と正常を完全な1対1にはせず、不正取引を正常取引の10%まで増やします。

10.3 交差検証を実行する

sampling_results = []

for sampler_name, sampler in samplers.items():
    pipeline = Pipeline([
        ("preprocess", preprocessor),
        ("sampler", sampler),
        (
            "model",
            DecisionTreeClassifier(
                max_depth=5,
                min_samples_leaf=20,
                random_state=42,
            ),
        ),
    ])

    scores = cross_validate(
        pipeline,
        X_train,
        y_train,
        cv=cv,
        scoring=scoring,
        n_jobs=-1,
    )

    sampling_results.append({
        "方法": sampler_name,
        "PR-AUC": scores["test_pr_auc"].mean(),
        "ROC-AUC": scores["test_roc_auc"].mean(),
        "適合率": scores["test_precision"].mean(),
        "再現率": scores["test_recall"].mean(),
        "F1": scores["test_f1"].mean(),
    })

sampling_result_df = (
    pd.DataFrame(sampling_results)
    .sort_values("PR-AUC", ascending=False)
    .reset_index(drop=True)
)

sampling_result_df

10.4 比較結果の読み方

Python 3.13、Scikit-learn 1.9.0、imbalanced-learn 0.14.2 の環境で実行した結果の一例です。

方法	PR-AUC	ROC-AUC	適合率	再現率	F1
再サンプリングなし	0.7391	0.9110	0.8748	0.7411	0.8022
RandomOverSampler	0.6869	0.9041	0.4450	0.8223	0.5690
SMOTE	0.6860	0.9480	0.4938	0.8198	0.6024
SMOTETomek	0.6860	0.9480	0.4938	0.8198	0.6024

この条件では、再サンプリングを行わない決定木が PR-AUC と F1 で最良でした。一方、過剰サンプリングを行ったモデルは再現率が上がり、不正の見逃しが減っています。

再サンプリングを行うと、不正クラスへ分類する範囲が広がりやすくなります。

再現率は上がりやすい
不正と判定する件数が増える
偽陽性も増え、適合率が下がる場合がある

最適な方法は、単純に再現率が最も高いものではありません。

不正を1件見逃す損失と、正常取引を1件止める損失の両方を考える必要があります。

SMOTETomek はこの条件で SMOTE とほぼ同じ評価値でしたが、処理時間は大幅に長くなりました。複雑な再サンプリングを選ぶ場合は、精度だけでなく計算コストも比較します。

また、この結果から分かるように、クラス不均衡があるからといって、再サンプリングを行えば必ず性能が上がるわけではありません。再サンプリングなし、class_weight、しきい値調整も比較対象に含めます。

また、サンプリング方法を比較するときにテストデータを繰り返し使ってはいけません。方法の選択は訓練データ内の交差検証で行い、テストデータは最後の確認にだけ使います。

11. ロジスティック回帰、ランダムフォレスト、GBDT を比較する

次に、同じ再サンプリング条件で3種類のモデルを比較します。

11.1 モデルを定義する

models = {
    "ロジスティック回帰": LogisticRegression(
        C=1.0,
        l1_ratio=1.0,
        solver="liblinear",
        max_iter=2000,
        random_state=42,
    ),
    "ランダムフォレスト": RandomForestClassifier(
        n_estimators=200,
        max_depth=12,
        min_samples_split=8,
        max_features="sqrt",
        n_jobs=1,
        random_state=42,
    ),
    "GBDT": GradientBoostingClassifier(
        learning_rate=0.10,
        n_estimators=100,
        max_depth=3,
        min_samples_split=20,
        random_state=42,
    ),
}

11.2 交差検証で比較する

model_results = []

for model_name, model in models.items():
    pipeline = Pipeline([
        ("preprocess", preprocessor),
        (
            "sampler",
            RandomOverSampler(
                sampling_strategy=0.10,
                random_state=42,
            ),
        ),
        ("model", model),
    ])

    scores = cross_validate(
        pipeline,
        X_train,
        y_train,
        cv=cv,
        scoring=scoring,
        n_jobs=-1,
    )

    model_results.append({
        "モデル": model_name,
        "PR-AUC": scores["test_pr_auc"].mean(),
        "ROC-AUC": scores["test_roc_auc"].mean(),
        "適合率": scores["test_precision"].mean(),
        "再現率": scores["test_recall"].mean(),
        "F1": scores["test_f1"].mean(),
    })

model_result_df = (
    pd.DataFrame(model_results)
    .sort_values("PR-AUC", ascending=False)
    .reset_index(drop=True)
)

model_result_df

11.3 モデルの特徴

同じ環境で実行した結果の一例です。

モデル	PR-AUC	ROC-AUC	適合率	再現率	F1
ランダムフォレスト	0.8491	0.9790	0.9228	0.7843	0.8474
ロジスティック回帰	0.7553	0.9780	0.3910	0.8452	0.5311
GBDT	0.7516	0.9803	0.6586	0.8223	0.7313

ROC-AUC だけを見ると GBDT が最も高い一方、主指標の PR-AUC と F1 ではランダムフォレストが最も高くなりました。

ロジスティック回帰は不正取引を広く拾うため再現率は高いものの、適合率が低く、正常取引の誤検知が多いことが分かります。

ロジスティック回帰

学習が速い
係数を確認しやすい
線形な境界を学習する
強いベースラインとして使いやすい

ランダムフォレスト

非線形な関係を表現できる
外れ値や特徴量スケールの影響を比較的受けにくい
木を並列に学習できる
単体の決定木より過学習を抑えやすい

GBDT

前の木が残した誤差を、後の木が順番に補う
表形式データで高い性能を出しやすい
学習率と木の本数の調整が重要
木を順番に作るため、ランダムフォレストほど単純には並列化できない

11.4 `classification_report` の読み方

最終モデルを学習し、テストデータで評価します。

final_pipeline = Pipeline([
    ("preprocess", preprocessor),
    (
        "sampler",
        RandomOverSampler(
            sampling_strategy=0.10,
            random_state=42,
        ),
    ),
    (
        "model",
        RandomForestClassifier(
            n_estimators=200,
            max_depth=12,
            min_samples_split=8,
            max_features="sqrt",
            n_jobs=-1,
            random_state=42,
        ),
    ),
])

final_pipeline.fit(X_train, y_train)
test_prediction = final_pipeline.predict(X_test)

print(
    classification_report(
        y_test,
        test_prediction,
        target_names=["正常", "不正"],
        digits=4,
    )
)

classification_report には、クラスごとの適合率、再現率、F1スコアに加え、macro avg と weighted avg が表示されます。

正常取引が99.8%以上を占めるため、weighted avg は正常クラスの性能に強く引っ張られます。

不正検知では、Class = 1 の行に表示される適合率、再現率、F1スコアを必ず確認します。

この分割におけるテスト結果の一例は次の通りです。

指標	値
PR-AUC	0.8718
ROC-AUC	0.9823
不正クラスの適合率	0.9101
不正クラスの再現率	0.8265
不正クラスのF1	0.8663

混同行列は次のようになりました。

	不正と予測	正常と予測
実際に不正	81	17
実際に正常	8	56,856

98件の不正取引のうち81件を検知し、17件を見逃しています。また、正常取引8件を不正と誤判定しています。

12. PR-AUC、ROC-AUC、再現率、適合率を読む

12.1 予測確率を使う

ROC-AUC や PR-AUC は、0か1の確定予測ではなく、予測確率を使って計算します。

fraud_probability = final_pipeline.predict_proba(X_test)[:, 1]

test_pr_auc = average_precision_score(
    y_test,
    fraud_probability,
)

test_roc_auc = roc_auc_score(
    y_test,
    fraud_probability,
)

print("テスト PR-AUC:", test_pr_auc)
print("テスト ROC-AUC:", test_roc_auc)

確定ラベルを roc_auc_score() に渡すと、1つのしきい値における結果しか反映されず、モデルの順位付け能力を十分に評価できません。

12.2 Precision-Recall 曲線

fig, ax = plt.subplots(figsize=(7, 5))

PrecisionRecallDisplay.from_predictions(
    y_test,
    fraud_probability,
    name="ランダムフォレスト",
    ax=ax,
)

ax.set_title("Precision-Recall 曲線")
plt.show()

PR曲線では、不正取引を多く見つけようとして再現率を上げると、適合率がどれくらい下がるかを確認できます。

12.3 ROC曲線

fig, ax = plt.subplots(figsize=(7, 5))

RocCurveDisplay.from_predictions(
    y_test,
    fraud_probability,
    name="ランダムフォレスト",
    ax=ax,
)

ax.plot([0, 1], [0, 1], "k--")
ax.set_title("ROC 曲線")
plt.show()

ROC-AUC は、無作為に選んだ不正取引へ、無作為に選んだ正常取引より高いスコアを付けられる確率として解釈できます。

ただし、正常取引が非常に多いため、偽陽性率が低く見えても、偽陽性の件数自体は多くなる場合があります。

12.4 混同行列

ConfusionMatrixDisplay.from_predictions(
    y_test,
    test_prediction,
    display_labels=["正常", "不正"],
    cmap="Blues",
)
plt.title("テストデータの混同行列")
plt.show()

混同行列では、割合だけでなく件数を確認します。

たとえば偽陽性率が0.1%でも、正常取引が約56,000件あれば、約56件が誤って止められる計算です。

12.5 しきい値を調整する

predict() は通常0.5をしきい値として使いますが、不正検知で0.5が最適とは限りません。

threshold = 0.20
adjusted_prediction = (
    fraud_probability >= threshold
).astype(int)

print(
    classification_report(
        y_test,
        adjusted_prediction,
        target_names=["正常", "不正"],
        digits=4,
    )
)

しきい値を下げると、一般に次の変化が起こります。

不正の見逃しが減り、再現率が上がる
正常取引の誤検知が増え、適合率が下がる

しきい値は、テストデータを見ながら決めてはいけません。訓練データ内に検証データを用意するか、Out-of-Fold 予測を使って決めます。

13. ハイパーパラメータを探索する

木モデルは調整できるパラメータが多く、その設定が性能や計算量に影響します。

13.1 GridSearchCV の考え方

GridSearchCV は、指定したパラメータの組み合わせをすべて試し、交差検証の平均評価値が最も高い組み合わせを選びます。

探索範囲の外に、さらに良い値が存在する可能性はあります。グリッド探索が見つけるのは、あくまで指定した候補内での最良値です。

13.2 ランダムフォレストを探索する

rf_pipeline = Pipeline([
    ("preprocess", preprocessor),
    (
        "sampler",
        RandomOverSampler(
            random_state=42,
        ),
    ),
    (
        "model",
        RandomForestClassifier(
            n_jobs=1,
            random_state=42,
        ),
    ),
])

rf_param_grid = {
    "sampler__sampling_strategy": [0.05, 0.10],
    "model__criterion": ["gini", "entropy"],
    "model__n_estimators": [100, 200],
    "model__max_depth": [8, 12],
    "model__max_features": ["sqrt", 0.5],
    "model__min_samples_split": [4, 8],
}

rf_search = GridSearchCV(
    estimator=rf_pipeline,
    param_grid=rf_param_grid,
    scoring="average_precision",
    cv=cv,
    n_jobs=-1,
    refit=True,
)

rf_search.fit(X_train, y_train)

print(rf_search.best_params_)
print(rf_search.best_score_)

パラメータ名は、Pipeline のステップ名とパラメータ名を __ でつなぎます。

model__max_depth
sampler__sampling_strategy

13.3 GBDTを探索する

gbdt_pipeline = Pipeline([
    ("preprocess", preprocessor),
    (
        "sampler",
        RandomOverSampler(
            random_state=42,
        ),
    ),
    (
        "model",
        GradientBoostingClassifier(
            random_state=42,
        ),
    ),
])

gbdt_param_grid = {
    "sampler__sampling_strategy": [0.05, 0.10],
    "model__learning_rate": [0.05, 0.10, 0.20],
    "model__n_estimators": [50, 100],
    "model__max_depth": [2, 3],
    "model__min_samples_split": [10, 20],
}

gbdt_search = GridSearchCV(
    estimator=gbdt_pipeline,
    param_grid=gbdt_param_grid,
    scoring="average_precision",
    cv=cv,
    n_jobs=-1,
    refit=True,
)

gbdt_search.fit(X_train, y_train)

print(gbdt_search.best_params_)
print(gbdt_search.best_score_)

候補数を増やすと、計算量は組み合わせ数に比例して増えます。

たとえば、各パラメータに3候補ずつあり、5個のパラメータを探索するなら、組み合わせ数は次の通りです。

$$
3^5=243
$$

3分割交差検証なら、合計729回の学習が必要です。

候補が多い場合は、すべての組み合わせを試す GridSearchCV ではなく、指定回数だけ無作為に試す RandomizedSearchCV も検討します。

13.4 テストデータで最後に一度だけ評価する

best_model = rf_search.best_estimator_

test_probability = best_model.predict_proba(X_test)[:, 1]

print(
    "テスト PR-AUC:",
    average_precision_score(
        y_test,
        test_probability,
    ),
)

print(
    "テスト ROC-AUC:",
    roc_auc_score(
        y_test,
        test_probability,
    ),
)

モデル、再サンプリング方法、パラメータ、しきい値を選ぶ途中でテストデータを使わないことが重要です。

14. 不正検知モデルを実運用へつなげる

公開データで高い評価値を出すことと、実際の決済システムで不正を防ぐことは同じではありません。

14.1 時系列分割

今回のデータには取引順を表す Time があります。

本番では過去の取引から将来の不正を予測するため、最終評価では古い取引を訓練用、新しい取引をテスト用に分ける方が現実に近くなります。

ランダム分割では、時間的に近い似た取引が訓練データとテストデータの両方へ入る可能性があります。

14.2 重複行

このデータには完全に同じ値を持つ行が1,081件あります。

ただし、取引IDが公開されていないため、同じ取引が重複登録されたのか、別々の同一条件取引なのかは判断できません。

機械的に削除するのではなく、実データでは取引IDや業務ルールを確認します。重複レコードと確認できた場合は、訓練・テスト分割の前に除外します。

14.3 過剰サンプリングと予測確率

過剰サンプリングを行うと、学習データ内の不正率が現実より高くなります。

そのため、predict_proba() が返す値を、そのまま「実際に不正である確率」と解釈できない場合があります。

正確な確率が必要なら、実際のクラス比率を保った検証データで確率較正を行います。Scikit-learn では CalibratedClassifierCV を使用できます。

14.4 誤分類コスト

不正検知では、すべての誤りのコストが同じではありません。

高額な不正取引の見逃しは損失が大きい
少額の正常取引を止めても顧客体験を損なう
手動調査には人件費がかかる
本人認証の追加には離脱リスクがある

Amount を使えば、取引ごとの損失額を考慮したコスト依存学習も検討できます。

14.5 概念ドリフト

不正の手口は、検知ルールや社会状況に合わせて変化します。

過去に高性能だったモデルでも、時間がたつと性能が下がる可能性があります。これを概念ドリフトと呼びます。

実運用では、次の項目を継続的に監視します。

不正率
PR-AUC
不正クラスの再現率
適合率
誤検知件数
取引金額別の損失
特徴量分布の変化

14.6 ラベル確定の遅れ

不正取引は、カード会員からの申告や調査によって後から判明する場合があります。

つまり、直近データには「まだ不正と確定していない不正取引」が含まれる可能性があります。

学習データを作るときは、ラベルが十分に確定するまでの待機期間を設ける必要があります。

14.7 実運用の流れ

モデルは、不正か正常かを最終決定する唯一の仕組みではありません。

予測スコアに応じて、通常承認、追加認証、手動調査、取引保留など、複数の対応へ振り分ける方が実務的です。

15. まとめ

今回の内容をまとめます。

Credit Card Fraud Detection データには、284,807件の取引が含まれる
不正取引は492件で、全体の約0.1727%しかない
V1 から V28 は、機密保持のため PCA で変換された主成分である
Time は最初の取引からの経過秒数、Amount は取引金額である
すべてを正常と予測しても約99.83%の正解率になるため、正解率だけでは評価できない
極端な不均衡分類では、PR-AUC、適合率、再現率、F1スコア、混同行列を確認する
RandomOverSampler は、既存の少数クラスを複製する
SMOTE は、少数クラスの近傍間に合成サンプルを作る
SMOTETomek は、SMOTE と境界付近の整理を組み合わせる
再サンプリングは訓練データだけに適用する
交差検証では、再サンプリングを各foldの学習部分だけで行う
再サンプリングを Pipeline に入れる場合は imblearn.pipeline.Pipeline を使う
ROC-AUC や PR-AUC は、確定ラベルではなく予測確率から計算する
モデルやサンプリング方法の選択は訓練データ内で行い、テストデータは最後に一度だけ使う
過剰サンプリング後の予測確率は、実際の不正発生確率と一致しない場合がある
実運用では、時系列評価、誤分類コスト、概念ドリフト、ラベル確定の遅れも考慮する

不正検知では、「不正を何件当てたか」だけでなく、「正常取引を何件止めたか」も同じくらい重要です。

不正の見逃しを減らすためにしきい値を下げれば、誤検知は増えます。誤検知を減らそうとすれば、不正の見逃しが増える可能性があります。

このトレードオフを、PR-AUC、適合率、再現率、取引金額、調査コスト、顧客体験を使って設計することが、クレジットカード不正検知の中心です。

参考資料