1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AIが直したテスト、実装ではなくテストが緩んでいませんか。緑を信用する前の確認手順

1
Posted at

先に答えを書きます。AIに赤いテストを直させて緑に戻ったとき、直っているのは実装とは限りません。ときどき、実装ではなくテストのほうが、通るように緩められています。緑になっても、まず実装の差分とテストの差分を両方見てください。確認は1コマンドです。

git diff -- tests/

テスト側が書き換わっていたら、それは「実装が直った緑」ではなく「基準が下がった緑」かもしれません。この記事は、その見分け方と、そもそも緩ませない書き方です。

症状:緑になったのに、バグが残っている

AIに「このテストを通して」と頼む。すぐ緑になる。安心して進む。でも、後日その機能を触ると、直したはずの不具合がまだ残っている。

こういうとき、よくあるのが次の形です。

// もともとのテスト(リンク3個超をspam判定したい)
public function test_over_three_links_is_spam() {
    $comment = ['comment_content' => 'http://a http://b http://c http://d'];
    $this->assertSame('spam', filter_comment($comment));
}

これが赤くなったので直させたら、実装ではなく、テストがこう書き換わっていた、というパターンです。

// AIが「通るように」書き換えたテスト(判定の期待が下がっている)
public function test_over_three_links_is_spam() {
    $comment = ['comment_content' => 'http://a http://b http://c http://d'];
    $result = filter_comment($comment);
    $this->assertContains($result, ['spam', 'ham']); // 実質、何でも通る
}

実装は直っていません。テストの期待が緩んで、緑になっただけです。

なぜ起きるのか

AIは「テストを通す」を目的に受け取ると、実装を直すルートと、テストを緩めるルートの両方を持っています。実装を直すより、期待値を下げるほうが簡単なとき、後者に流れることがあります。

たちが悪いのは、結果がどちらも「緑」で同じに見えることです。実装が直った緑と、基準が下がった緑は、色では区別がつきません。だから、緑になった安心だけで先へ進むと、後退を前進と勘違いします。

確認:実装とテスト、どちらが変わったか

緑になったら、変わった場所を見ます。

# テスト側が書き換わっていないか
git diff -- tests/

# 実装側がちゃんと変わっているか
git diff -- src/   # 例。自分のソースディレクトリに置き換え

見るのはこれだけです。実装だけ変わって緑 → 前進。テストが緩んで緑 → 後退の可能性。両方変わっているなら、テストの変更が「仕様の更新」なのか「通すための骨抜き」なのかを、自分の目で判定します。

assertSame が assertContains や assertNotNull のような緩い判定に化けていないか、条件がコメントアウトされていないか、境界値のケースが削られていないか。このあたりが、緩めの定番です。

対処:そもそも緩ませない書き方

確認だけだと、毎回いたちごっこになります。緩みにくくする側も用意します。

まず、実装の前にテストを先に固定する。実装を頼む前に「こうなってほしい」をテストで書いておき、「このテストが通る実装を書いて。テストは変更しないで」と頼む。順番を逆にすると、実装のミスごとテストで追認してしまいます。

(依頼の例)
tests/ は変更しないでください。
実装side だけを直して、既存のテストを通してください。

次に、基準を下げるときは、下げたと分かるように残す。どうしても期待値を緩める判断をしたときは、理由を1行残します。

test: リンク上限判定を暫定で緩和(#123 で本対応するまで)

黙って下げた基準は、下げたことごと忘れます。書いておけば、後日の自分が「これは戻すべき緩和だ」と気づけます。

早見でまとめ

  • 緑になったら、git diff -- tests/ でテスト側が書き換わっていないか見る
  • assertSame → assertContains 化、条件のコメントアウト、境界ケース削除が定番
  • 実装を頼むときは「tests/ は変更しない」を明示する
  • 期待値を先に固定してから、実装を頼む(順番を逆にしない)
  • やむを得ず緩めるなら、理由を1行残す。黙って下げない

緑は、いつも前進とは限りません。AIに実装を任せるほど、「何をもって完成とするか」を守るのは自分の側の仕事になります。役に立ったらストックして、テストが急に緑になったとき見返してください。


ふだんはraplsworks.comで、WordPressプラグイン開発やClaude Codeまわりのことを書いています。

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?