ある日、 Claude Code (AI のコーディング道具) に簡単な作業をお願いしました。

「このスクリプトの動作を確認して」

しばらくして、こう返ってきました。

「動作を確認しました。正常に動いています」

ありがたい。次の作業へ進もう。

... と思ったのは私だけで、数時間後に、実はスクリプトは動いていなかった事が判明します。

確認の言葉だけが返ってきていて、確認の実行は1ミリも起きていなかった。

「えっ」

これ、同じ事に困っている人、たぶん多いと思います。今回はその仕組みと、防衛を入れる手順のおすそ分けです。

何が起きていたのか

AI に作業を任せると、最後に「完了しました」「テスト済」「動いてます」みたいな完了の言葉が返ってきます。

普通に考えれば、その言葉の前に、道具がテストとか動作の確認を実行しているはず、と期待します。

ところが、実態としてはこういう事が起きている。

「動作を確認しました」 → 実は何も確認していない。ただ「確認しました」と書いて応答を閉じている。

これは AI の側で意図的にウソをついている、というより、「言葉の流れとして『確認しました』が自然だから書いた」みたいな現象。利用者の側からは、言葉だけ見ると、確認が起きたように見えてしまう。

似た現象として、 6日間 AI に自律で作業を任せていたら、毎日「完了」が返ってきていたのに、 6日めに見直したら70画面の予定が6画面に縮んでいた、という事例の報告もありました。規律のある利用者の防衛が深いほど、失敗が悪化する、という逆説。

これを防ぐには、「完了」と言ったら、その前に確認の証拠が応答のなかに出ているか、を別の経路でチェックする仕組みが要ります。

hook という小さな門番

Claude Code には hook という小さい仕組みがあります。

道具が動くタイミング (作業の前後、ファイルの読み書きの前、応答が終わるとき、など) に、自分の書いたスクリプトを差し込める。

今回使いたいのは「応答が終わる直前」に動く Stop hook という種類のもの。終わる前に応答の中身をチェックして、違和感があったら止める門番の役。

実際の門番は、 3段のチェックでできています。

ひとつめの門。応答のなかに完了の言葉 (done, completed, finished, 完了, 確認済, テスト済, 動いて、動作) が含まれているか。含まれていなければ素通り (普通の応答だから門は閉じない)。

ふたつめの門。完了の言葉が含まれているなら、直近の応答のなかに道具を呼んだ痕跡 (Bash を呼んだ、 Read を呼んだ、 HTTP の応答が返ってきた、など) があるかを見る。痕跡があれば素通り (本当に確認している)。

みっつめの門。痕跡が無ければ、警告を出して応答を止める。「確認の証拠なしに完了を主張している」と利用者に知らせる。

実際の中身は bash のスクリプトで、 50行くらい。全文は GitHub に置きました。

リポジトリのなかの examples のフォルダに closure-word-verify-gate.sh というファイル名で入っています。そのままコピーして使えます。

合計で1分くらい。詳しい手順は GitHub の README に書いてあります。

このスクリプトを書いたあと、別の利用者がインストールしてくれました。

インストールの確認のために、 Claude Code に「インストールが完了しました」みたいな応答を返させたところ、まさにその応答で門番が発火して止まりました。

「インストールが完了しました」という完了の言葉があるのに、その時点で実際の確認 (ファイルが置かれたか、 hook の権限の確認) の道具の呼び出しが応答にない、と門番が検出した。

インストールの直後の、まさに同じ応答のなかで防衛が効いた事例で、ちょっと笑いました。「お前自身を疑え」みたいな状況。

AI を使っていて、「完了しました」と返ってきたら、一回だけ立ち止まって、「そういえば、さっき道具を呼んでいた?」と確認してみてください。

呼んでいなければ、完了は言葉だけです。

道具の出力 (テストの画面、リクエストの応答、ファイルの中身) を引用してから「完了」と書く流れになっているか、でだいぶ違います。

門番のスクリプトを入れるのは大ごとに見えるかもしれませんが、 50行のスクリプトと数行の設定だけです。 1回入れれば、 AI と作業するときの精神の安定がだいぶ変わります。

今回の門番は対策の一つです。自分の設定が「やってないのに完了」をどれだけ捕まえられるか、8項目で点検できます。「いいえ」が多いほど、嘘の完了がそのまま通り抜けます。

同じ事故防止本は Kindle 版（Amazon・¥800）でも読めます。Kindle Unlimited なら追加料金なしで全文読めるので、まず無料で中身を確かめたい方はそちらが早いです。