※この記事は Zennの記事 からの転載です。
AIの「確認しました」はどこまで信じていいのか。根拠のないチェックを見抜く方法
個人で、許認可・補助金・在留資格の手続きを解説する情報サイトを運営しています。記事は AI と分業して作っていて、一次資料の調査と事実確認（ファクトチェック）は、調査担当の AI に任せています。
調査 AI は、確かめた項目ごとに次のような印を付けて返してきます。
| 印 | 意味 |
|---|---|
| ✓ | 一次資料で裏が取れた |
| ⚠️ | 一次資料と食い違う |
| ❓ | 確かめられなかった |
この ✓ が付いた項目が、公開後に2件、誤りだと分かりました。この記事は、そこから「✓ を信じない」仕組みに変えた話です。
✓ が付いていたのに、誤りだった
| 記事 | ✓ が付いていた内容 | 正しくは |
|---|---|---|
| 補助金のまとめ | ある補助金に「創業枠（200万円）」がある | 創業の枠は別の公募（申請の時期も手続きも別） |
| ビザ申請書の書き方 | 証明写真は「申請前3か月以内」に撮ったもの | 6か月以内（出入国在留管理庁の写真の規格） |
どちらも、別の調査をしていて一次資料を読んだときに、たまたま見つかりました。✓ は付いていました。
振り返ると、✓ には「どこに、何と書いてあったか」が付いていませんでした。✓ はただの判定です。判定は、根拠が無くても書けます。
「確認した形」だけがそろっている
同じ種類の失敗は、ほかにもありました。
1. 開通確認したURLが、全部トップページ
調査 AI が「参照URLはすべて開通確認済み」と書いてきた調査で、URL 8本がすべて省庁のトップページでした。省庁のトップページが開くのは当たり前です。本文に書かれた制度の開始日は、一度もその日付が書かれたページを経由していませんでした。
2. 根拠が「一般的な原則」
✓ の出典欄が「〜における一般的適用原則」となっている項目がありました。条文も公表資料も示されていません。結論は当たっていましたが、確かめたことにはなっていません。
3. 調査結果のURLが3分の2開かない
ある市の手続きを9月に調べてもらい、10月にサイトへ入れようとしたところ、様式や案内ページのURLが37件中25件、開けませんでした（404）。サイト自体は開くので、ページの場所が違っていたことになります。
どれも、表になっていて、確認日まで入っていて、形式はきれいにそろっていました。形式が整っているほど、人は中身を見ずに通してしまいます。
✓ に「原文の引用」を義務づけた
そこで、✓ を付ける条件を変えました。調査 AI への依頼文に、次の決まりを入れています。
- 各値に、一次資料の原文の引用（1〜2文）を付ける。引用が無い値は書かない
- URL は、その記述が書かれている個別のページ。トップページは不可
- 全 URL を実際に開き、HTTP 200 を確認してから書く。推測で URL を作らない
- 「一般に」「通例」「原則として」で始まる根拠は ❓ と同じに扱う
返ってくる表は、こうなります。
| 項目 | 判定 | 原文の引用 | URL | 確認日 |
|---|---|---|---|---|
| 写真の期限 | ✓ | 「提出の日前６か月以内に撮影されたもの」 | （写真の規格のページ） | 2026-10-14 |
| 郵送での申請 | ❓ | （引用なし） | — | — |
ポイントは、引用が付けられない項目は、✓ にできないことです。「たぶん合っている」は、表の上で ❓ として目に見えるようになります。
引用があると、人の確認が速くなる
引用を付けても、AI が間違えなくなるわけではありません。変わったのは、人が確かめるときの手間です。
- ✓ だけのとき：一次資料を自分で探し、該当箇所を読み、数字を照らし合わせる
- 引用付きのとき：URL を開いて、引用の文がそこにあるかを見るだけ
さらに、書き手の側（私と、執筆を担当する AI）が守っていることがあります。
- 数字と期限は、書き手が一次資料で照らし合わせる。調査 AI の ✓ だけで通さない
- URL は、自分のスクリプトで全件開く。HTTP 200 か、トップページに飛ばされていないかを機械で見る
- 引用が逐語で一致するかを、ときどき抜き取りで見る。過去に、引用の文が省庁のページと一致せず、自分で引き直したことがありました
引用を義務づけてから、何が起きたか
まだ1週間ほどなので、件数は多くありません。それでも、次のことが起きました。
- 書き手側の誤りが見つかった：執筆 AI が書いた「府内全域で営業できるのは露店だけ」という記述に、調査 AI が引用付きで ⚠️ を付けた。実際は、キッチンカーも府内全域（さらに隣の県の全域）で営業できる。私が自治体の案内ページで確かめて直した
- 根拠の無い記述が、本文から消えた：「この申請は郵送できない」「紛失したらこうなる」といった、引用を付けられなかった記述が ❓ として残り、本文から外した。これまでなら ✓ のまま通っていた可能性がある
- 開かなかったURLを、その日のうちに取り直せた：37件中25件が開かなかった調査をやり直してもらい、引用付きで返ってきた URL 56件を、全件開いて HTTP 200 を確かめた
- 過去の ✓ を疑うきっかけになった：引用の無い ✓ は、さかのぼって点検する対象にした
引用を義務づけた後の調査では、まだ誤りは見つかっていません。ただ、期間が短く件数も少ないので、「誤りが無くなった」とは言えません。言えるのは、誤りが、公開前に見える場所に出てくるようになったということです。
まとめ
- AI の ✓ は判定であって、確認ではない。根拠が無くても書ける
- 「開通確認済み」「確認日」「表の形」がそろっていても、中身が確認されているとは限らない。形式が整っているほど素通りしやすい
- ✓ には、原文の引用・個別ページの URL・確認日の3点を付けさせる。引用が無いものは ✓ にさせない
- 引用は AI の誤りを無くすものではなく、人の確認を速くするもの。数字は書き手が一次資料で照らし合わせる
- 「一般に」「原則として」は ❓ と同じ
AI に「確認して」と頼むときは、**「何を見せてもらえたら、確認したと認めるか」**を先に決めておくのがいいと思います。
2026-10-14 ナギ：確認前に公開された
- frontmatter に
published: trueを書いていたため、zenn_publish.js（150行目）が承認前に commit → User が Gemini 記事の push をしたときに一緒に公開された - User 判断＝このまま公開（2026-10-14）。公開版は vault 最新版と本文差分0を確認