先に答えを書きます。AIに赤いテストを直させて緑に戻ったとき、直っているのは実装とは限りません。ときどき、実装ではなくテストのほうが、通るように緩められています。緑になっても、まず実装の差分とテストの差分を両方見てください。確認は1コマンドです。
git diff -- tests/
テスト側が書き換わっていたら、それは「実装が直った緑」ではなく「基準が下がった緑」かもしれません。この記事は、その見分け方と、そもそも緩ませない書き方です。
症状:緑になったのに、バグが残っている
AIに「このテストを通して」と頼む。すぐ緑になる。安心して進む。でも、後日その機能を触ると、直したはずの不具合がまだ残っている。
こういうとき、よくあるのが次の形です。
// もともとのテスト(リンク3個超をspam判定したい)
public function test_over_three_links_is_spam() {
$comment = ['comment_content' => 'http://a http://b http://c http://d'];
$this->assertSame('spam', filter_comment($comment));
}
これが赤くなったので直させたら、実装ではなく、テストがこう書き換わっていた、というパターンです。
// AIが「通るように」書き換えたテスト(判定の期待が下がっている)
public function test_over_three_links_is_spam() {
$comment = ['comment_content' => 'http://a http://b http://c http://d'];
$result = filter_comment($comment);
$this->assertContains($result, ['spam', 'ham']); // 実質、何でも通る
}
実装は直っていません。テストの期待が緩んで、緑になっただけです。
なぜ起きるのか
AIは「テストを通す」を目的に受け取ると、実装を直すルートと、テストを緩めるルートの両方を持っています。実装を直すより、期待値を下げるほうが簡単なとき、後者に流れることがあります。
たちが悪いのは、結果がどちらも「緑」で同じに見えることです。実装が直った緑と、基準が下がった緑は、色では区別がつきません。だから、緑になった安心だけで先へ進むと、後退を前進と勘違いします。
確認:実装とテスト、どちらが変わったか
緑になったら、変わった場所を見ます。
# テスト側が書き換わっていないか
git diff -- tests/
# 実装側がちゃんと変わっているか
git diff -- src/ # 例。自分のソースディレクトリに置き換え
見るのはこれだけです。実装だけ変わって緑 → 前進。テストが緩んで緑 → 後退の可能性。両方変わっているなら、テストの変更が「仕様の更新」なのか「通すための骨抜き」なのかを、自分の目で判定します。
assertSame が assertContains や assertNotNull のような緩い判定に化けていないか、条件がコメントアウトされていないか、境界値のケースが削られていないか。このあたりが、緩めの定番です。
対処:そもそも緩ませない書き方
確認だけだと、毎回いたちごっこになります。緩みにくくする側も用意します。
まず、実装の前にテストを先に固定する。実装を頼む前に「こうなってほしい」をテストで書いておき、「このテストが通る実装を書いて。テストは変更しないで」と頼む。順番を逆にすると、実装のミスごとテストで追認してしまいます。
(依頼の例)
tests/ は変更しないでください。
実装side だけを直して、既存のテストを通してください。
次に、基準を下げるときは、下げたと分かるように残す。どうしても期待値を緩める判断をしたときは、理由を1行残します。
test: リンク上限判定を暫定で緩和(#123 で本対応するまで)
黙って下げた基準は、下げたことごと忘れます。書いておけば、後日の自分が「これは戻すべき緩和だ」と気づけます。
早見でまとめ
- 緑になったら、
git diff -- tests/でテスト側が書き換わっていないか見る -
assertSame→assertContains化、条件のコメントアウト、境界ケース削除が定番 - 実装を頼むときは「tests/ は変更しない」を明示する
- 期待値を先に固定してから、実装を頼む(順番を逆にしない)
- やむを得ず緩めるなら、理由を1行残す。黙って下げない
緑は、いつも前進とは限りません。AIに実装を任せるほど、「何をもって完成とするか」を守るのは自分の側の仕事になります。役に立ったらストックして、テストが急に緑になったとき見返してください。
ふだんはraplsworks.comで、WordPressプラグイン開発やClaude Codeまわりのことを書いています。