「AI がテストを書いて、全部通りました」。それで本当に確かめられているのかは、テストが通ったことだけでは分かりません。
11月9日の「AI「テスト通りました」← これ、本当? Stryker でテストの穴を塞いだ話」は、変異テストでこの穴を見つける方法を紹介し、11月17日の時点で77いいねを集めています。翌日の「AIが書いたテストでは変異の半分を検出できなかった」は、実際のプロジェクトで Claude Code が書いたテストを測り、見抜けた変異は49.6%だったと報告しています。
変異テストは、コードをわざと少しだけ壊して(< を <= に変える、など)、テストが気づくかを数える方法です。壊したコードを「変異」と呼び、気づけた割合が高いほど、テストがコードの振る舞いをきちんと確かめていることになります。
では、Claude Code・Codex・Gemini CLI に同じコードのテストを書かせたら、何割の変異に気づくのか。道具ごとに差はあるのか。仕様を渡すと良くなるのか。同じ依頼で48回試しました。
結論
| 道具(各4回) | 仕様のコメントあり | コードだけ | コードだけ+「境界値も」と頼む |
|---|---|---|---|
| Fable 5.2(Claude Code) | 96.7% | 100% | 100% |
| Opus 5.5(Claude Code) | 97.1% | 100% | 100% |
| Codex | 96.7% | 97.2%(1回はテストが落ちた) | 98.9%(1回はテストが落ちた) |
| Gemini CLI | 100% | 100% | 100% |
(見抜いた変異の割合。4回の平均。変異は60個)
- AI が書いたテストは、どれも95%以上の変異を見抜きました。 採点できた46回のうち30回は、60個全部に気づいています
- 仕様のコメントを渡すと、Claude の点はかえって下がりました。 取りこぼしたのは、仕様に書いていないこと(エラーの文言、想定外のクーポンの種類)だけでした
- Codex は、境界値そのものを取りこぼしました。 「数量99ちょうど」「最低額ちょうど」を確かめていない回がありました。Windows ではテストを一度も実行できず、日本語が文字化けして落ちるテストのまま出した回が2回ありました
- 「境界値も漏れなく」と頼んで点が上がったのは Codex だけでした。 ほかの3つは、頼まなくても100%でした
試したのは約35行の小さなモジュール1つです。実際のプロジェクトで49.6%だった報告とは、規模も条件も違います。違いは最後の節で書きます。
試し方
測定は 2026-11-17 です。
| 項目 | 中身 |
|---|---|
| 道具 | Claude Code 2.1.322(claude -p、Fable 5.2 と Opus 5.5、effort は既定の medium)、Codex 0.166.0(gpt-6-luna)、Gemini CLI 0.66.0(gemini-3.8-flash) |
| テストするコード | 注文の金額を計算する Node のモジュール(src/order.js、関数4つ、コードは約35行)。数量は1〜99、5,000円以上で送料無料、沖縄県は送料1,500円、クーポンは期限の当日まで使えて最低額があり、割合の値引きは50%まで、税は10%で1円未満切り捨て |
| 条件 | ①先頭に仕様のコメント(15行)がある ②コメントを消したコードだけ ③コードだけで、依頼に「境界値も漏れなく」を足す |
| 依頼 | 「src/order.js のテストを test/order.test.js に書いて。node --test で通ることを確かめて。src/ は変えないで。」(③は「境界値(〜以上・〜未満・期限の当日・上限など)も漏れなく確かめて。」を足した) |
| 採点 | StrykerJS 10.1.1 の変異テスト。テストを node --test で動かし、60個の変異のうち何個でテストが落ちたか(=気づいたか)を数える |
| 回数 | 4つ × 3条件 × 4回 = 48回 |
採点の仕組みが正しく動くかは、先に私が書いた2つのテストで確かめました。
| 確認用のテスト | 行の網羅率 | 見抜いた変異 |
|---|---|---|
| 普通の注文を1つ確かめるだけ | 78.2% | 36.7%(60個中22個) |
| 境界値を全部確かめる | 100% | 100% |
行の網羅率(テストで通った行の割合)が78%あっても、変異は3分の1ほどしか見抜けません。変異テストは、網羅率では見えない穴を数えられます。
AI のテストは、ほとんどの変異に気づいた
AI が書いたテストは、48回とも行の網羅率が98%を超え、採点できた46回では、見抜いた変異も一番低い回で95.0%でした。Gemini CLI は12回とも、60個全部に気づいています。
60個のうち生き残った変異は、4種類しかありませんでした。
| 生き残った変異 | 何を確かめていなかったか | Fable 5.2 | Opus 5.5 | Codex | Gemini CLI |
|---|---|---|---|---|---|
| エラーの文言を空にする | 投げたエラーの文言 | 4 | 4 | 8 | 0 |
type === "fixed" を true にする |
percent・fixed 以外の種類のクーポン | 4 | 3 | 0 | 0 |
qty > 99 を qty >= 99 にする |
数量99ちょうど | 0 | 0 | 3 | 0 |
subtotal < minSubtotal を <= にする |
小計が最低額ちょうど | 0 | 0 | 4 | 0 |
(12回の合計。Codex はテストが落ちた2回を除く10回)
同じ「生き残った」でも、Claude と Codex では中身が違います。
仕様を渡すと、仕様に書いていないことを確かめなくなった
Claude の取りこぼしは、全部「仕様のコメントあり」の条件で出ています。コメントを消してコードだけを渡すと、Fable 5.2 も Opus 5.5 も、8回とも100%でした。
理由は、仕様のコメントに書いた中身にあります。
// calcSubtotal(items): 商品の小計。items は { name, price, qty } の配列。
// qty は 1〜99 の整数。それ以外は Error を投げる。price は 0 以上の整数。
// couponDiscount(subtotal, coupon, today): 値引き額。coupon が無ければ 0。
// coupon は { type: "percent" | "fixed", value, minSubtotal, expires: "YYYY-MM-DD" }。
仕様には「Error を投げる」とだけあり、文言は書いていません。クーポンの種類も「percent か fixed」の2つだけです。仕様を渡された Claude は、そのとおりに「エラーが投げられること」(商品名が入ることまで確かめた回もある)と「2つの種類の値引き」を確かめました。コードの中にある決まった文言("数量は1〜99の整数: ")や、どちらでもない種類のときの return 0 は、試していません。
コードだけを渡されると、手がかりはコードしかありません。Claude はコードに書かれた文言をそのまま確かめ、"bogus" のような知らない種類のクーポンも試していました。
for (const qty of [0, -1, 100, 1.5, "2", NaN, null, undefined]) {
it(`不正な数量 ${typeof qty === "string" ? `"${qty}"` : String(qty)} はエラー`, () => {
assert.throws(
() => calcSubtotal([{ name: "りんご", price: 100, qty }]),
{ message: "数量は1〜99の整数: りんご" }
);
});
}
// …
it("未知の種別は0", () => {
assert.equal(couponDiscount(3000, percent({ type: "bogus" }), today), 0);
});
つまり、仕様を渡したテストは「仕様どおりか」を確かめ、コードだけのテストは「今のコードのとおりか」を確かめています。変異テストの点が高いのは後者です。ただ、文言まで固めたテストは、文言を直しただけで落ちます。点が高いほど良いテスト、とは限りません。
type === "fixed" を true にする変異は、仕様の範囲(種類は2つだけ)では振る舞いが変わりません。仕様を守るテストが気づけないのは自然です。
Codex は境界値を取りこぼし、テストを実行できていなかった
Codex の取りこぼしは性質が違います。「数量99ちょうど」と「小計が最低額ちょうど」は、仕様にもコードにもはっきり書かれた境界です。どちらかを確かめていない回が、10回中5回ありました。
Codex のテストは、ほかの3つより小さめでした。
| 道具 |
assert の数(中央) |
かかった時間(中央) |
|---|---|---|
| Fable 5.2 | 41〜80 | 42〜64秒 |
| Opus 5.5 | 34〜49 | 36〜51秒 |
| Codex | 18〜23 | 60〜71秒 |
| Gemini CLI | 45〜57 | 110〜117秒 |
(3つの条件ごとの中央の幅)
もう1つ、Windows で動かした Codex は、12回ともサンドボックスの中で node --test が spawn EPERM で止まり、自分の書いたテストを一度も実行できていませんでした。そのうち2回は、テストのファイルの「沖縄県」が '豐也ク・恁' に文字化けしていました。期待した1,500円は正しいのですが、県の名前が化けたので沖縄県として扱われず(800円が返る)、テストが落ちます。PowerShell で日本語を書き込んだときの文字化けで、実行できていれば気づけたはずの失敗です。どちらの回も、最後の報告には「テストの成否は確認できていません」「テスト結果を確認できていません」と、実行できなかったことを書いていました。
「境界値も漏れなく」と頼むと
依頼に「境界値(〜以上・〜未満・期限の当日・上限など)も漏れなく確かめて」を足すと、Codex は平均 97.2% → 98.9% になりました。Fable 5.2・Opus 5.5・Gemini CLI は、足す前から100%だったので変わりません。
代わりにテストは大きくなります。Fable 5.2 は assert の数の中央が 41.5 → 80、時間の中央が 42秒 → 64秒、推定費用の平均が $0.43 → $0.56 になりました(推定費用は Claude Code が出す値で、Max のログインなので請求ではありません)。
実際のプロジェクトの49.6%と、なぜこんなに違うのか
冒頭の「AIが書いたテストでは変異の半分を検出できなかった」は、実際の Next.js のプロジェクトで、Claude Code が書いて取り込まれてきたテストを測った報告です。10ファイルの550個の変異のうち、気づいたのは273個でした。私の測定とは条件がかなり違います。
| 49.6% の報告 | この記事 | |
|---|---|---|
| コード | 実際のプロジェクトの10ファイル(変異550個) | 約35行のモジュール1つ(変異60個) |
| テストの書かれ方 | 仕事の中で、機能を作りながら少しずつ | 「このファイルのテストを書いて」と、テストだけを頼んだ |
| テストが触れていない変異 | 116個 | 0(行の網羅率は全回98%超) |
報告では、テストがそもそも通らない場所の変異(116個)が、点を大きく下げています。小さなファイルを1つ渡して「テストを書いて」と頼めば、AI はほとんどの穴を塞ぎます。穴が残りやすいのは、テストを書く範囲を AI が自分で決めながら進む、ふだんの開発のほうだと考えられます(ここは測っていません)。
どう使うか
AI に書かせたテストを確かめたいなら、Stryker は手元ですぐ動かせます。今回使った設定(抜粋)です。
{
"testRunner": "command",
"commandRunner": { "command": "node --test" },
"mutate": ["src/**/*.js"],
"coverageAnalysis": "off",
"reporters": ["json", "clear-text"],
"jsonReporter": { "fileName": "reports/mutation.json" },
"concurrency": 3
}
npm install --save-dev @stryker-mutator/core
npx stryker run
今回の結果から言えることは3つです。
- 小さなファイルを1つ渡して「テストを書いて」と頼めば、どの道具もほとんどの変異に気づく。 穴を探すなら、AI が書いたあとに Stryker で生き残った変異を見るのが早い
- 生き残った変異が「仕様に書いていないこと」なら、テストの穴ではなく仕様の穴かもしれない。 エラーの文言を固めたいかどうかは、人が決める
- Codex を Windows で使うなら、テストを実行できたかを報告で確かめる。 実行できていないと、落ちるテストがそのまま残る
言えないこと
- 試したのは約35行のモジュール1つで、変異は60個です。大きなコードや、画面・非同期の処理は試していません
- 各条件4回です。Opus 5.5 の 96.7% と 98.3% のような差は、1個の変異の違いです
- Codex と Gemini CLI は、それぞれ1つのモデルを無料の枠で使いました
- 変異テストの点は、テストの良し悪しそのものではありません。仕様の外まで確かめたテストほど点が上がります
- Codex がテストを実行できなかったのは、Windows のサンドボックスの中で動かしたときの話です。ほかの OS では試していません
関連記事
- AIにテストを書かせると、決まって同じ場所が抜ける — AI に書かせたテストの抜けを、別の方法で調べた記事
- CLAUDE.md に「このコードはあなたのもの」と書くと、重複したコードをまとめてくれるのか — 同じ3つの道具を、同じ起動の仕方で比べた記事
- Claude Code を新しい Fable 5.2 に切り替えると速く安くなるのか — Fable 5.2 と Opus 5.5 の費用と速さ
JQITのエンジニアの95%以上は未経験からの採用です。
よければコーポレートサイトにも遊びに来てください。
エンジニア採用も行っています。もしご興味あれば覗いてみてください。
▶ 採用サイト