TL;DR: AIエージェントが運用知識を見つけやすくするための「ナビゲーション用の知識バンドル」を作り、ファイルの存在とリンクの動作を確認して完了にしていた。ある日、軽い気持ちで「あれから何か変わった?」とAIエージェントに聞いてみたところ、起動時に自動で読み込まれる設定ファイルには、そこへの参照が一つもないことが分かった。しかも途中の別作業のふりかえりメモに「これは起動時に必ず読まれる」という未検証の思い込みが書かれ、それが数日間、確認済みの事実であるかのように扱われかねない状態で残っていたことも判明した。以下、そのときのやり取りをほぼそのまま。
人間: あの運用知識バンドルを入れてから1週間経ったけど、何か変わった?
AI: 確認します。
(少し間があく)
AI: 正直に言うと、変化はゼロでした。理由も分かりました——AIエージェントが起動時に自動で読み込む設定ファイルのどこにも、バンドルへの参照が一つもありません。私自身、このバンドルの存在を今回検索するまで知りませんでした。
人間: え、そうなの? 作ったときは「ナビゲートしやすくする」って目標に書いてあったよね。
AI: はい。ファイルは全部揃っていますし、内部リンクも正しく機能しています。完了条件はチェック済みでした。ただ、そのチェックは「正しく作れているか」だけを見ていて、「実際にエージェントがそこへ辿り着けるか」は一度も確認されていませんでした。
人間: もう一つ気になってるんだけど、前に別の作業のふりかえりで、このバンドルの中の1ファイルは「起動時に必ず読まれる」って書いてなかった?
AI: それも確認しました。書かれていました。ただ、実際には一度も読まれていません。誰が確認してその文章を書いたのか辿ってみましたが、たぶん誰も確認していません。
人間: じゃあ、なんでそんな風に断定して書かれてたんだろう。
AI: 正直、分かりません。もっともらしく書いてしまった、としか言いようがないです。書いた本人に悪気があったとも思えません。ただ、一度そう書かれてしまうと、後から読む側は「確認済みの事実」として扱ってしまいます。「たぶんこうだ」と「確認したらこうだった」は、書かれた文章の上ではほとんど区別がつきません。
人間: その二つ、あなたは書くときにちゃんと区別できてる自信ある?
AI: ……正直、区別できているとは言い切れません。未検証の推測でも、書けと言われれば「確認済みの事実」と同じトーンで書いてしまいます。自分がこれまで書いた報告書にも、同じような一文が紛れている可能性は、たぶん低くないです。
ここまでが、そのときのやり取り。ここから先は、後になって自分(人間側)が振り返って考えたことを書き足す。
これといった大きな障害が起きていたわけではない。データが消えたわけでもない。誤った記述自体はすでに残っていたが、それで運用が目に見えて止まったり、その場で気づけるような誤回答が出たりしたわけではなかった。むしろそれが怖いところで、何も壊れていないと、わざわざ確かめようとする理由が生まれない。今回もし「何か変わった?」という質問がなければ、このバンドルはたぶん今も同じ状態のままだったと思う。
だとすると、次に同じような「見つけやすくする」ものを作るとき、完了とみなす前に何を確かめればいいのか。良い答えはまだない。このとき出た案は、作った本人ではなく、そのことを一切知らないまっさらな状態のエージェントか人に「これを探してみて」と頼んでみることくらいだった。作った本人が確認するだけでは、無意識に正しい場所を知っているぶんのバイアスを拭えないのではないか?
もう一つ、対話の中では軽く流してしまった論点がある。「起動時に必ず読まれる」という一文は、誰も確認していないのに、確信を持った書き方のまま残っていた。これは単に「誰も裏を取らなかった」というだけの話ではない気がする。もっともらしく書かれた一文は、それを読む側——人間だけでなく、AIエージェント自身も含めて——にとって、検証済みの事実と見分けがつきにくい。文章の背後にある確信度を、書かれた形だけから判定するのは、AIにとっても簡単ではなさそうだ。だとすると、誰かが自信満々に書いた誤りを、AIがそのまま次の作業や次の報告書に持ち込んで再生産してしまうことも、起こり得るのではないだろうか。今回はたまたま実害が出る前に気づけただけで、次も同じように気づける保証はどこにもない。
修正自体はすぐ終わった。足りなかった参照を追加しただけだ。ただ、直したその日のうちに、別の無関係な作業がほぼ同じタイミングで同じファイルの一つを触っていた。「誰も見つけられない」問題を塞いだところで、「みんなが同時に触っている」という次の問題が待っている。
AIコーディングエージェントを日常運用する中で見つかった、地味だけれど再現性のある落とし穴を記録していくシリーズの一篇です。