はじめに

「A/Bテストを実施したら有意差が出たので施策を展開した。でも結果が全然改善されなかった」——データサイエンティストやマーケターがよく経験する失敗です。

A/Bテストは正しく設計しなければ、誤った結論を「科学的に」導いてしまう危険なツールになります。本記事では現場でよく起きる3つの統計的ミスと、その対処法をPythonコードを交えて解説します。

よくある失敗1：サンプルサイズを事前に決めない

「とりあえず1週間やってみて有意差が出たら展開しよう」——これが最も多い失敗です。

サンプルサイズが不十分だと、本当は効果がないのに「有意差あり」と判断する確率（第一種過誤）が高まります。

正しいサンプルサイズの計算方法

from scipy import stats
import numpy as np

def calculate_sample_size(
    baseline_rate: float,
    relative_mde: float,
    alpha: float = 0.05,
    power: float = 0.8,
) -> int:
    """
    A/Bテストに必要なサンプルサイズを計算する

    Parameters
    ----------
    baseline_rate : コントロール群のコンバージョン率
    relative_mde  : 検出したい最小効果量（相対値, 例: 0.1 = 10%改善）
    alpha         : 有意水準（デフォルト 5%）
    power         : 検出力（デフォルト 80%）
    """
    p1 = baseline_rate
    p2 = baseline_rate * (1 + relative_mde)

    z_alpha = stats.norm.ppf(1 - alpha / 2)
    z_beta = stats.norm.ppf(power)

    pooled_p = (p1 + p2) / 2
    n = (z_alpha + z_beta) ** 2 * 2 * pooled_p * (1 - pooled_p) / (p1 - p2) ** 2
    return int(np.ceil(n))


# 例：コンバージョン率 5% を 10% 改善（相対）で検出したい場合
n = calculate_sample_size(baseline_rate=0.05, relative_mde=0.10)
print(f"片群あたり必要サンプル数: {n:,}")   # → 約 14,751
print(f"合計サンプル数: {n * 2:,}")          # → 約 29,502

設定	値	意味
α（有意水準）	0.05	偽陽性を5%以下に抑える
β（検出力）	0.80	真の効果を80%の確率で検出する
MDE	10%改善	これより小さい効果は無視する

サンプルサイズに達する前に判断してはいけません。

よくある失敗2：途中経過を見て止める（ピーキング問題）

「毎日ダッシュボードを確認して、有意差が出たら終了」——これをピーキング（Peeking）といい、偽陽性率が大幅に跳ね上がります。

import numpy as np
from scipy import stats

def simulate_peeking(n_simulations: int = 10_000) -> float:
    """ピーキングによる偽陽性率をシミュレーション（真の効果なし）"""
    false_positive = 0
    check_points = [100, 200, 300, 500, 700, 1000]

    rng = np.random.default_rng(42)
    for _ in range(n_simulations):
        control   = rng.binomial(1, 0.10, 1000)
        treatment = rng.binomial(1, 0.10, 1000)  # 効果なし

        for n in check_points:
            _, p = stats.ttest_ind(control[:n], treatment[:n])
            if p < 0.05:
                false_positive += 1
                break  # 有意になった時点で「展開」とみなす

    return false_positive / n_simulations

fpr = simulate_peeking()
print(f"通常のテスト 偽陽性率:  5.0%")
print(f"ピーキングあり 偽陽性率: {fpr:.1%}")  # → 約 20%前後

本来5%のはずの偽陽性率が約20%まで膨らみます。

対策：

事前に決めたサンプルサイズに達するまで絶対に判断しない
どうしても途中確認したい場合は 逐次検定（Sequential Testing） を使う

「もう少しで有意になりそう」という理由でテストを延長するのも同じ罠です。サンプルサイズは事前に固定してください。

よくある失敗3：複数の指標を同時に検定する（多重比較問題）

「CVR・クリック率・滞在時間の3つを同時に検定した」——これを多重比較といい、検定の数だけ偽陽性のチャンスが増えます。

alpha   = 0.05
n_tests = 5  # CVR, CTR, 滞在時間, 直帰率, ページ遷移数

# 少なくとも1つ誤検出する確率
family_wise_error = 1 - (1 - alpha) ** n_tests
print(f"{n_tests}指標を同時検定した場合の誤検出率: {family_wise_error:.1%}")
# → 22.6%（本来5%のはずが4倍以上に！）

# Bonferroni 補正
bonferroni_alpha = alpha / n_tests
print(f"Bonferroni 補正後の有意水準: {bonferroni_alpha:.4f}")  # 0.0100

手法	特徴	使い所
Bonferroni 補正	シンプルだが保守的	指標が少ない（〜5個）
Benjamini-Hochberg	バランスが良い	指標が多い（10個〜）
主指標を1つに絞る	最もシンプル	可能なら一番おすすめ

最強の対策は「主指標を1つだけ決める」こと。その他は参考指標として扱い、統計的判断の根拠にしないのが現場のベストプラクティスです。

正しいA/Bテスト設計チェックリスト

フェーズ	チェック項目
テスト前	主指標（Primary Metric）を1つだけ決めた
テスト前	MDEをビジネス観点で決めた
テスト前	必要サンプルサイズを事前に計算した
テスト前	テスト期間を事前に固定した
テスト中	途中で結果を見て判断しない（ピーキング禁止）
テスト後	事前に決めたサンプルサイズに達してから判断する
テスト後	効果量（実際の改善幅）もあわせて報告する

まとめ

落とし穴	問題	対策
サンプルサイズ不足	偽陽性・偽陰性が増える	事前に計算して固定する
ピーキング	偽陽性率が5% → 20%+	判断タイミングを事前に決める
多重比較	偶然の有意差を拾う	主指標を1つに絞る

統計的に正しいテストを設計することは、チームへの信頼にもつながります。次のA/Bテストの前にぜひこのチェックリストを活用してください。