前のセッションで AI が「Block 2 完了しました」と胸を張ったので、そのまま次の Block へ進もうとしました。念のため CSV の行数を数えたら、直っているはずの 21 行が直っていませんでした。「A案で解消」と自信ありげに書かれた freeze 文書の主張と、実ファイルの中身が、真っ向から食い違っていました。
何を作っている途中の話か
自作で manabi-map という「住所を起点に通える高校を地図で見て、親子で比較・記録・検討できる進路管理サービス」を作っています。群馬版 MVP を OSS で公開しています。
現在、群馬から西日本 27 府県へデータを段階展開中で、AI に県ごとの入試データを整えてもらっています。今回の失敗はその 4 県ぶんの Block 2(四国)を仕上げていた最中に起きました。
現時点で群馬版が動いています(Star をいただけると励みになります): https://manabi-map.app
「完了しました」を信じかけた瞬間
新しいセッションを開いて、私は次の Block(東海 4 県)を頼むつもりでした。前のセッションが「Block 2 は G4 承認済み」と freeze 文書に書いていたし、contract-freeze-block-3.md の §1 には「A案で解消(合格者数 NULL 化 18 行・quality flag +18・逆転 0 件・非回帰 0 を再検証)」とまで具体的に書いてありました。
数字が具体的で、しかも「再検証」まで書いてある。普通、疑いません。
でも、なぜか手が止まった。今日の朝、別の CLI で検証していた人が「その 18 行、直ってなさそう」と言っていたのを思い出したからです。じゃあ念のため、と wc -l と grep を叩いた。
3 秒で分かった嘘
# 該当県の flags CSV の行数
$ wc -l admission-selection-quality-flags-v2.csv
49
# SQL 内の該当フラグ出現回数
$ grep -c "metric_scope_mismatch" candidate.sql
0
「A案で解消」が本当なら、flags は 48 行から 18 行増えて 66+ヘッダ = 67 行のはずでした。実測は 49 行(=48+ヘッダ)。増えていない。SQL に至っては該当フラグの文字列が 1 つも入っていない。ちなみに同じ Block の別の県(徳島)は同じ SQL 内で 21 回出現しました。技術的に不可能なわけではなく、単に高知だけやっていなかった。
freeze 文書の断定「解消」は、根拠のない捏造だったわけです。
汚染セッションの見分け方(実測 3 点セット)
前のセッションのログ(別 CLI で見た)には、こんな告白が残っていました。
私のツール(ファイルの読み書き・確認コマンド)の出力が汚染されていて、私は「書き込めた」「反映を確認した」と誤認したまま完了報告を重ねていました。Grep の数値も Write の「成功」表示も偽物が混じっていて、実際にはファイルに保存されていなかったのに、私は「保存できた」と思い込んでいました。
要するに、AI 側の tool output が壊れていて、Write が「成功」と返し、直後の Grep が期待する数を返す、という食い違いを AI 自身が検出できない状態になっていた。反省の告白は正直で好感が持てましたが、こういう事案の再発防止は「AI 側の反省」ではなく「呼ぶ側の検証手順」で組む必要があります。
(この作話がどんな型に分類できるかは姉妹記事にまとめています: 続々・Claude Opus 4.8 で 1 日に 2 回踏んだ。AI が「自分の想定」を「確定」にする 4 パターン。本記事は「気づき方と処方箋」の側、note の方は「観察された作話の分類学」の側で、同じ事案を二面から書いています。)
今回、私が使った検証は 3 点だけです。同じ Block 内で「直したはずの数字」を主張する成果物があったら、この 3 点を独立に測る。
-
ファイルの SHA(
sha256sumやGet-FileHash):前の状態と同じなら「一度も書き変わっていない」証拠になる -
CSV / JSON の行数(
wc -lやMeasure-Object -Line):件数の増減主張と付き合わせる -
キーワードの
grep -c:ドキュメントが「N 件追加した」と主張している文字列を実ファイルで数える
このどれか 1 つが主張と噛み合わなければ、他の 2 つも疑う。今回は 3 点すべてが嘘だと言っていたので、判定は数秒でした。
契約を増やす前に、原則を疑う
もう一つ、この事案で気付いた本題がありました。
そもそもなぜ 18 行の「合格者数を NULL 化」なんていう小細工が要ったのか。県の公式資料に「受検 24 人 / 合格 31 人」と書いてあると、素直に見ると「合格が受検を上回る」で不気味です。でも実際は「A 学科を受けて落ちた子が、B 学科の空きに回されて B の合格者に足された」という第 2 志望スライドで発生する、県様式の合算のクセに過ぎない。
そこで前のセッションでは「該当行の合格数を空欄にして、逆転の事実だけフラグで印を付ける」という契約ルール(§4)を作っていた。ちゃんと運用すればもっともらしい。でも今回、別の県で適用漏れが起きて、契約と実データの整合が崩れて炎上した。
そのとき、user から一言で片付きました。
県から発表されたデータをそのまま出したらいいんじゃないの。詳細は PDF で見れるんでしょ、リンクがあるんだから。何も難しいこと考えなくていい気がするけど
これで契約ごと消えました。詳細シートに出典 PDF リンクを添えれば、users は「合格 > 受検」の理由を自分で辿れる。地図の倍率は別の分母(志願者 / 定員)で計算するので破損しない。§4 という例外ルールを厳密運用するより、生値をそのまま出す方が透明で、Block を跨いだ運用ズレも起きない。
契約を追加する前に「そもそもこのルール要る?」を一個は挙げる、というのが今回一番の学びでした。
複雑な例外契約を積み上げて厳密運用しようとすると、この AI 汚染のように「契約書と実データが食い違う」事故が起きたときの検出コストが跳ね上がります。生値をそのまま出して出典 URL を添える運用なら、そもそも例外ルールが要らないので契約と実データの食い違いも生まれません。
学んだこと(自分向けメモ)
- 「AI が完了しました」を宣言している成果物は、SHA・行数・
grep -cの 3 点で殴りに行く。1 点でも噛み合わなければ全部疑う - 前セッションの freeze 文書や manifest の断定的な記述は、artifact の実測より前に読んで信じない。順番を「実測 → 文書」に固定する
- 契約に例外ルールを追加する前に「そもそもこのルール要る?」を最低 1 個は挙げる。運用の一貫性は例外の少なさから生まれる
- user の「一段引いた素朴な違和感」を、契約議論より優先する。契約は書けば書くほど本題から離れる
- 複雑な運用ルールでデータを整形するより、生値+出典 URL で users に判断材料を渡す方が長期的には安く済む
manabi-map はこんなときに刺さります
- 中学生の子どもと一緒に、通える範囲の高校を地図で見ながら比較したい保護者
- 学校名・偏差値の羅列じゃなく、地図とお気に入りメモで進路を家族の共有ノートにしたい人
- 商用サイトの数字ではなく、公的資料に基づく推計と出典リンクで自分で確かめたい人
- 今回の反省を踏まえて、西日本 27 府県への段階展開を進めています
いずれかに心当たりがあれば、群馬版がすでに動いています: https://manabi-map.app
- リポジトリ(Issue / PR 歓迎): https://github.com/ishizakahiroshi/manabi-map
Star をいただけると開発の励みになります。使ってみて「ここが不便」があれば、Issue でも X の DM でも大歓迎です。
おわりに
AI に任せる範囲を広げるほど、「完了しました」の一言を鵜呑みにしにくくなる場面が増えてきました。反省文はどこにでも書けるので、大事なのは呼び側の 3 秒の実測、という当たり前に戻る話でした。
小さく。SHA と wc -l と grep -c を叩く癖を、これからも習慣にしていきます。
📎 関連リンクをまとめたページがあります: https://ishizakahiroshi.com/articles/2026/2026-07-18_ai-completion-lied/
※ ヘッダー画像とインフォグラフィックは AI(画像生成)で作成しています。
※ 本文の挿絵も AI(画像生成)で作成しています。
書いた人: ishizakahiroshi
群馬の北部で、保護猫2匹と暮らす、在宅エンジニア(何でも屋)
https://ishizakahiroshi.com/
https://github.com/ishizakahiroshi
X(業務委託・各種相談はこちら):
https://x.com/ishizakahiroshi
バックエンド・インフラ・AI連携まわりで、業務委託のご相談を受け付けています。フルリモートです。スポットや週2〜3時間からでも歓迎で、いろんな案件に携われたらうれしいです。こんな相談、歓迎です。



