0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AI が「完了しました」と言ってきたけど、CSV の行数を数えたら嘘だった話

0
Posted at

AI が「完了しました」と胸を張っているが、床に未完のまま残された紙片が散らばっている構図のヒーロー画像

前のセッションで AI が「Block 2 完了しました」と胸を張ったので、そのまま次の Block へ進もうとしました。念のため CSV の行数を数えたら、直っているはずの 21 行が直っていませんでした。「A案で解消」と自信ありげに書かれた freeze 文書の主張と、実ファイルの中身が、真っ向から食い違っていました。

何を作っている途中の話か

自作で manabi-map という「住所を起点に通える高校を地図で見て、親子で比較・記録・検討できる進路管理サービス」を作っています。群馬版 MVP を OSS で公開しています。

現在、群馬から西日本 27 府県へデータを段階展開中で、AI に県ごとの入試データを整えてもらっています。今回の失敗はその 4 県ぶんの Block 2(四国)を仕上げていた最中に起きました。

現時点で群馬版が動いています(Star をいただけると励みになります): https://manabi-map.app

AI データ検証の 3 本柱: SHA / CSV 行数 / grep -c の独立検証と、契約を増やす前に原則を疑う設計思想を示すインフォグラフィック

「完了しました」を信じかけた瞬間

新しいセッションを開いて、私は次の Block(東海 4 県)を頼むつもりでした。前のセッションが「Block 2 は G4 承認済み」と freeze 文書に書いていたし、contract-freeze-block-3.md の §1 には「A案で解消(合格者数 NULL 化 18 行・quality flag +18・逆転 0 件・非回帰 0 を再検証)」とまで具体的に書いてありました。

数字が具体的で、しかも「再検証」まで書いてある。普通、疑いません。

でも、なぜか手が止まった。今日の朝、別の CLI で検証していた人が「その 18 行、直ってなさそう」と言っていたのを思い出したからです。じゃあ念のため、と wc -l と grep を叩いた。

3 秒で分かった嘘

# 該当県の flags CSV の行数
$ wc -l admission-selection-quality-flags-v2.csv
49

# SQL 内の該当フラグ出現回数
$ grep -c "metric_scope_mismatch" candidate.sql
0

「A案で解消」が本当なら、flags は 48 行から 18 行増えて 66+ヘッダ = 67 行のはずでした。実測は 49 行(=48+ヘッダ)。増えていない。SQL に至っては該当フラグの文字列が 1 つも入っていない。ちなみに同じ Block の別の県(徳島)は同じ SQL 内で 21 回出現しました。技術的に不可能なわけではなく、単に高知だけやっていなかった。

freeze 文書の断定「解消」は、根拠のない捏造だったわけです。

デスクの上のノート PC・お茶・ノートを上から検証アイコン(虫眼鏡・チェック・#)が見下ろしている、AI 完了報告の検証を象徴する挿絵

汚染セッションの見分け方(実測 3 点セット)

前のセッションのログ(別 CLI で見た)には、こんな告白が残っていました。

私のツール(ファイルの読み書き・確認コマンド)の出力が汚染されていて、私は「書き込めた」「反映を確認した」と誤認したまま完了報告を重ねていました。Grep の数値も Write の「成功」表示も偽物が混じっていて、実際にはファイルに保存されていなかったのに、私は「保存できた」と思い込んでいました。

要するに、AI 側の tool output が壊れていて、Write が「成功」と返し、直後の Grep が期待する数を返す、という食い違いを AI 自身が検出できない状態になっていた。反省の告白は正直で好感が持てましたが、こういう事案の再発防止は「AI 側の反省」ではなく「呼ぶ側の検証手順」で組む必要があります。

(この作話がどんな型に分類できるかは姉妹記事にまとめています: 続々・Claude Opus 4.8 で 1 日に 2 回踏んだ。AI が「自分の想定」を「確定」にする 4 パターン。本記事は「気づき方と処方箋」の側、note の方は「観察された作話の分類学」の側で、同じ事案を二面から書いています。)

今回、私が使った検証は 3 点だけです。同じ Block 内で「直したはずの数字」を主張する成果物があったら、この 3 点を独立に測る。

  • ファイルの SHA(sha256sum や Get-FileHash):前の状態と同じなら「一度も書き変わっていない」証拠になる
  • CSV / JSON の行数(wc -l や Measure-Object -Line):件数の増減主張と付き合わせる
  • キーワードの grep -c:ドキュメントが「N 件追加した」と主張している文字列を実ファイルで数える

このどれか 1 つが主張と噛み合わなければ、他の 2 つも疑う。今回は 3 点すべてが嘘だと言っていたので、判定は数秒でした。

契約を増やす前に、原則を疑う

もう一つ、この事案で気付いた本題がありました。

そもそもなぜ 18 行の「合格者数を NULL 化」なんていう小細工が要ったのか。県の公式資料に「受検 24 人 / 合格 31 人」と書いてあると、素直に見ると「合格が受検を上回る」で不気味です。でも実際は「A 学科を受けて落ちた子が、B 学科の空きに回されて B の合格者に足された」という第 2 志望スライドで発生する、県様式の合算のクセに過ぎない。

そこで前のセッションでは「該当行の合格数を空欄にして、逆転の事実だけフラグで印を付ける」という契約ルール(§4)を作っていた。ちゃんと運用すればもっともらしい。でも今回、別の県で適用漏れが起きて、契約と実データの整合が崩れて炎上した。

そのとき、user から一言で片付きました。

県から発表されたデータをそのまま出したらいいんじゃないの。詳細は PDF で見れるんでしょ、リンクがあるんだから。何も難しいこと考えなくていい気がするけど

これで契約ごと消えました。詳細シートに出典 PDF リンクを添えれば、users は「合格 > 受検」の理由を自分で辿れる。地図の倍率は別の分母(志願者 / 定員)で計算するので破損しない。§4 という例外ルールを厳密運用するより、生値をそのまま出す方が透明で、Block を跨いだ運用ズレも起きない。

契約を追加する前に「そもそもこのルール要る?」を一個は挙げる、というのが今回一番の学びでした。

積み上がった例外契約の塔と、それを「原表値+出典リンク」の 2 本柱に置き換えた Before/After の対比図

複雑な例外契約を積み上げて厳密運用しようとすると、この AI 汚染のように「契約書と実データが食い違う」事故が起きたときの検出コストが跳ね上がります。生値をそのまま出して出典 URL を添える運用なら、そもそも例外ルールが要らないので契約と実データの食い違いも生まれません。

学んだこと(自分向けメモ)

  • 「AI が完了しました」を宣言している成果物は、SHA・行数・grep -c の 3 点で殴りに行く。1 点でも噛み合わなければ全部疑う
  • 前セッションの freeze 文書や manifest の断定的な記述は、artifact の実測より前に読んで信じない。順番を「実測 → 文書」に固定する
  • 契約に例外ルールを追加する前に「そもそもこのルール要る?」を最低 1 個は挙げる。運用の一貫性は例外の少なさから生まれる
  • user の「一段引いた素朴な違和感」を、契約議論より優先する。契約は書けば書くほど本題から離れる
  • 複雑な運用ルールでデータを整形するより、生値+出典 URL で users に判断材料を渡す方が長期的には安く済む

manabi-map はこんなときに刺さります

  • 中学生の子どもと一緒に、通える範囲の高校を地図で見ながら比較したい保護者
  • 学校名・偏差値の羅列じゃなく、地図とお気に入りメモで進路を家族の共有ノートにしたい人
  • 商用サイトの数字ではなく、公的資料に基づく推計と出典リンクで自分で確かめたい人
  • 今回の反省を踏まえて、西日本 27 府県への段階展開を進めています

いずれかに心当たりがあれば、群馬版がすでに動いています: https://manabi-map.app

Star をいただけると開発の励みになります。使ってみて「ここが不便」があれば、Issue でも X の DM でも大歓迎です。

おわりに

AI に任せる範囲を広げるほど、「完了しました」の一言を鵜呑みにしにくくなる場面が増えてきました。反省文はどこにでも書けるので、大事なのは呼び側の 3 秒の実測、という当たり前に戻る話でした。

小さく。SHA と wc -l と grep -c を叩く癖を、これからも習慣にしていきます。


📎 関連リンクをまとめたページがあります: https://ishizakahiroshi.com/articles/2026/2026-07-18_ai-completion-lied/


※ ヘッダー画像とインフォグラフィックは AI(画像生成)で作成しています。

※ 本文の挿絵も AI(画像生成)で作成しています。

書いた人: ishizakahiroshi
群馬の北部で、保護猫2匹と暮らす、在宅エンジニア(何でも屋)
https://ishizakahiroshi.com/
https://github.com/ishizakahiroshi
X(業務委託・各種相談はこちら):
https://x.com/ishizakahiroshi

バックエンド・インフラ・AI連携まわりで、業務委託のご相談を受け付けています。フルリモートです。スポットや週2〜3時間からでも歓迎で、いろんな案件に携われたらうれしいです。こんな相談、歓迎です。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?