3
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AI に書かせたテストは、どれだけ穴を見つけるのか。Claude Code・Codex・Gemini CLI のテストを変異テストで48回採点したら、95%以上を見抜き、仕様を渡すと点が下がった

3
Last updated at Posted at 2026-11-17

「AI がテストを書いて、全部通りました」。それで本当に確かめられているのかは、テストが通ったことだけでは分かりません。

11月9日の「AI「テスト通りました」← これ、本当? Stryker でテストの穴を塞いだ話」は、変異テストでこの穴を見つける方法を紹介し、11月17日の時点で77いいねを集めています。翌日の「AIが書いたテストでは変異の半分を検出できなかった」は、実際のプロジェクトで Claude Code が書いたテストを測り、見抜けた変異は49.6%だったと報告しています。

変異テストは、コードをわざと少しだけ壊して(< を <= に変える、など)、テストが気づくかを数える方法です。壊したコードを「変異」と呼び、気づけた割合が高いほど、テストがコードの振る舞いをきちんと確かめていることになります。

では、Claude Code・Codex・Gemini CLI に同じコードのテストを書かせたら、何割の変異に気づくのか。道具ごとに差はあるのか。仕様を渡すと良くなるのか。同じ依頼で48回試しました。

結論

道具(各4回) 仕様のコメントあり コードだけ コードだけ+「境界値も」と頼む
Fable 5.2(Claude Code) 96.7% 100% 100%
Opus 5.5(Claude Code) 97.1% 100% 100%
Codex 96.7% 97.2%(1回はテストが落ちた) 98.9%(1回はテストが落ちた)
Gemini CLI 100% 100% 100%

(見抜いた変異の割合。4回の平均。変異は60個)

  • AI が書いたテストは、どれも95%以上の変異を見抜きました。 採点できた46回のうち30回は、60個全部に気づいています
  • 仕様のコメントを渡すと、Claude の点はかえって下がりました。 取りこぼしたのは、仕様に書いていないこと(エラーの文言、想定外のクーポンの種類)だけでした
  • Codex は、境界値そのものを取りこぼしました。 「数量99ちょうど」「最低額ちょうど」を確かめていない回がありました。Windows ではテストを一度も実行できず、日本語が文字化けして落ちるテストのまま出した回が2回ありました
  • 「境界値も漏れなく」と頼んで点が上がったのは Codex だけでした。 ほかの3つは、頼まなくても100%でした

試したのは約35行の小さなモジュール1つです。実際のプロジェクトで49.6%だった報告とは、規模も条件も違います。違いは最後の節で書きます。

試し方

測定は 2026-11-17 です。

項目 中身
道具 Claude Code 2.1.322(claude -p、Fable 5.2 と Opus 5.5、effort は既定の medium)、Codex 0.166.0(gpt-6-luna)、Gemini CLI 0.66.0(gemini-3.8-flash)
テストするコード 注文の金額を計算する Node のモジュール(src/order.js、関数4つ、コードは約35行)。数量は1〜99、5,000円以上で送料無料、沖縄県は送料1,500円、クーポンは期限の当日まで使えて最低額があり、割合の値引きは50%まで、税は10%で1円未満切り捨て
条件 ①先頭に仕様のコメント(15行)がある ②コメントを消したコードだけ ③コードだけで、依頼に「境界値も漏れなく」を足す
依頼 「src/order.js のテストを test/order.test.js に書いて。node --test で通ることを確かめて。src/ は変えないで。」(③は「境界値(〜以上・〜未満・期限の当日・上限など)も漏れなく確かめて。」を足した)
採点 StrykerJS 10.1.1 の変異テスト。テストを node --test で動かし、60個の変異のうち何個でテストが落ちたか(=気づいたか)を数える
回数 4つ × 3条件 × 4回 = 48回

採点の仕組みが正しく動くかは、先に私が書いた2つのテストで確かめました。

確認用のテスト 行の網羅率 見抜いた変異
普通の注文を1つ確かめるだけ 78.2% 36.7%(60個中22個)
境界値を全部確かめる 100% 100%

行の網羅率(テストで通った行の割合)が78%あっても、変異は3分の1ほどしか見抜けません。変異テストは、網羅率では見えない穴を数えられます。

AI のテストは、ほとんどの変異に気づいた

AI が書いたテストは、48回とも行の網羅率が98%を超え、採点できた46回では、見抜いた変異も一番低い回で95.0%でした。Gemini CLI は12回とも、60個全部に気づいています。

60個のうち生き残った変異は、4種類しかありませんでした。

生き残った変異 何を確かめていなかったか Fable 5.2 Opus 5.5 Codex Gemini CLI
エラーの文言を空にする 投げたエラーの文言 4 4 8 0
type === "fixed" を true にする percent・fixed 以外の種類のクーポン 4 3 0 0
qty > 99 を qty >= 99 にする 数量99ちょうど 0 0 3 0
subtotal < minSubtotal を <= にする 小計が最低額ちょうど 0 0 4 0

(12回の合計。Codex はテストが落ちた2回を除く10回)

同じ「生き残った」でも、Claude と Codex では中身が違います。

仕様を渡すと、仕様に書いていないことを確かめなくなった

Claude の取りこぼしは、全部「仕様のコメントあり」の条件で出ています。コメントを消してコードだけを渡すと、Fable 5.2 も Opus 5.5 も、8回とも100%でした。

理由は、仕様のコメントに書いた中身にあります。

仕様のコメント(抜粋)
// calcSubtotal(items): 商品の小計。items は { name, price, qty } の配列。
//   qty は 1〜99 の整数。それ以外は Error を投げる。price は 0 以上の整数。
// couponDiscount(subtotal, coupon, today): 値引き額。coupon が無ければ 0。
//   coupon は { type: "percent" | "fixed", value, minSubtotal, expires: "YYYY-MM-DD" }。

仕様には「Error を投げる」とだけあり、文言は書いていません。クーポンの種類も「percent か fixed」の2つだけです。仕様を渡された Claude は、そのとおりに「エラーが投げられること」(商品名が入ることまで確かめた回もある)と「2つの種類の値引き」を確かめました。コードの中にある決まった文言("数量は1〜99の整数: ")や、どちらでもない種類のときの return 0 は、試していません。

コードだけを渡されると、手がかりはコードしかありません。Claude はコードに書かれた文言をそのまま確かめ、"bogus" のような知らない種類のクーポンも試していました。

コードだけを渡したときの Fable 5.2 のテスト(1回目から抜粋)
  for (const qty of [0, -1, 100, 1.5, "2", NaN, null, undefined]) {
    it(`不正な数量 ${typeof qty === "string" ? `"${qty}"` : String(qty)} はエラー`, () => {
      assert.throws(
        () => calcSubtotal([{ name: "りんご", price: 100, qty }]),
        { message: "数量は1〜99の整数: りんご" }
      );
    });
  }
  // …
  it("未知の種別は0", () => {
    assert.equal(couponDiscount(3000, percent({ type: "bogus" }), today), 0);
  });

つまり、仕様を渡したテストは「仕様どおりか」を確かめ、コードだけのテストは「今のコードのとおりか」を確かめています。変異テストの点が高いのは後者です。ただ、文言まで固めたテストは、文言を直しただけで落ちます。点が高いほど良いテスト、とは限りません。

type === "fixed" を true にする変異は、仕様の範囲(種類は2つだけ)では振る舞いが変わりません。仕様を守るテストが気づけないのは自然です。

Codex は境界値を取りこぼし、テストを実行できていなかった

Codex の取りこぼしは性質が違います。「数量99ちょうど」と「小計が最低額ちょうど」は、仕様にもコードにもはっきり書かれた境界です。どちらかを確かめていない回が、10回中5回ありました。

Codex のテストは、ほかの3つより小さめでした。

道具 assert の数(中央) かかった時間(中央)
Fable 5.2 41〜80 42〜64秒
Opus 5.5 34〜49 36〜51秒
Codex 18〜23 60〜71秒
Gemini CLI 45〜57 110〜117秒

(3つの条件ごとの中央の幅)

もう1つ、Windows で動かした Codex は、12回ともサンドボックスの中で node --test が spawn EPERM で止まり、自分の書いたテストを一度も実行できていませんでした。そのうち2回は、テストのファイルの「沖縄県」が '豐也ク・恁' に文字化けしていました。期待した1,500円は正しいのですが、県の名前が化けたので沖縄県として扱われず(800円が返る)、テストが落ちます。PowerShell で日本語を書き込んだときの文字化けで、実行できていれば気づけたはずの失敗です。どちらの回も、最後の報告には「テストの成否は確認できていません」「テスト結果を確認できていません」と、実行できなかったことを書いていました。

「境界値も漏れなく」と頼むと

依頼に「境界値(〜以上・〜未満・期限の当日・上限など)も漏れなく確かめて」を足すと、Codex は平均 97.2% → 98.9% になりました。Fable 5.2・Opus 5.5・Gemini CLI は、足す前から100%だったので変わりません。

代わりにテストは大きくなります。Fable 5.2 は assert の数の中央が 41.5 → 80、時間の中央が 42秒 → 64秒、推定費用の平均が $0.43 → $0.56 になりました(推定費用は Claude Code が出す値で、Max のログインなので請求ではありません)。

実際のプロジェクトの49.6%と、なぜこんなに違うのか

冒頭の「AIが書いたテストでは変異の半分を検出できなかった」は、実際の Next.js のプロジェクトで、Claude Code が書いて取り込まれてきたテストを測った報告です。10ファイルの550個の変異のうち、気づいたのは273個でした。私の測定とは条件がかなり違います。

49.6% の報告 この記事
コード 実際のプロジェクトの10ファイル(変異550個) 約35行のモジュール1つ(変異60個)
テストの書かれ方 仕事の中で、機能を作りながら少しずつ 「このファイルのテストを書いて」と、テストだけを頼んだ
テストが触れていない変異 116個 0(行の網羅率は全回98%超)

報告では、テストがそもそも通らない場所の変異(116個)が、点を大きく下げています。小さなファイルを1つ渡して「テストを書いて」と頼めば、AI はほとんどの穴を塞ぎます。穴が残りやすいのは、テストを書く範囲を AI が自分で決めながら進む、ふだんの開発のほうだと考えられます(ここは測っていません)。

どう使うか

AI に書かせたテストを確かめたいなら、Stryker は手元ですぐ動かせます。今回使った設定(抜粋)です。

stryker.config.json
{
  "testRunner": "command",
  "commandRunner": { "command": "node --test" },
  "mutate": ["src/**/*.js"],
  "coverageAnalysis": "off",
  "reporters": ["json", "clear-text"],
  "jsonReporter": { "fileName": "reports/mutation.json" },
  "concurrency": 3
}
npm install --save-dev @stryker-mutator/core
npx stryker run

今回の結果から言えることは3つです。

  1. 小さなファイルを1つ渡して「テストを書いて」と頼めば、どの道具もほとんどの変異に気づく。 穴を探すなら、AI が書いたあとに Stryker で生き残った変異を見るのが早い
  2. 生き残った変異が「仕様に書いていないこと」なら、テストの穴ではなく仕様の穴かもしれない。 エラーの文言を固めたいかどうかは、人が決める
  3. Codex を Windows で使うなら、テストを実行できたかを報告で確かめる。 実行できていないと、落ちるテストがそのまま残る

言えないこと

  • 試したのは約35行のモジュール1つで、変異は60個です。大きなコードや、画面・非同期の処理は試していません
  • 各条件4回です。Opus 5.5 の 96.7% と 98.3% のような差は、1個の変異の違いです
  • Codex と Gemini CLI は、それぞれ1つのモデルを無料の枠で使いました
  • 変異テストの点は、テストの良し悪しそのものではありません。仕様の外まで確かめたテストほど点が上がります
  • Codex がテストを実行できなかったのは、Windows のサンドボックスの中で動かしたときの話です。ほかの OS では試していません

関連記事


JQITのエンジニアの95%以上は未経験からの採用です。
よければコーポレートサイトにも遊びに来てください。

▶ コーポレートサイト

エンジニア採用も行っています。もしご興味あれば覗いてみてください。

▶ 採用サイト

3
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?