この記事は、以前書いた「一人法人での規律あるAI活用」の続編にあたります。
前回は「AIに規律をどう設計するか」という総論でした。今回は、その規律が実際に破れた実例と、破れた本当の原因を書きます。結論を先に言うと、原因はモデルの劣化ではなく、AIに渡していた情報の構造にありました。
この記事で言いたいこと
AIを実務で使っていて「最近このAI、質が落ちたな」と感じたことはないでしょうか。私はありました。そしてその原因を突き止めた結果、こう考えるようになりました。
AIの品質が落ちたと感じたら、まず「そのAIが現物を見られているか」を疑うべきです。
モデルを疑うより先に、情報の与え方を疑う。今日はその話をします。
起きたこと:同じモデルなのに、片方だけ質が落ちた
私は日常的に、2種類のAIを使い分けています。
- 対話するAI:設計や議論の相棒。ブラウザで動く、いわゆるチャット型。
- 実行するAI:手元の環境で動き、ファイルを直接読み、コードを書き、その場で検証まで走らせるエージェント型。
役割は違いますが、背後にいるのは同じ世代のモデルです。
ある時期から、対話するAIのほうの出力品質が、はっきりと落ちました。誤認が増え、事実と違う断定が頻発するようになった。ところが、同じモデルであるはずの実行するAIのほうは、まったく正確なままでした。
同じモデルで、片方だけ質が落ちる。ここに引っかかりました。モデルが劣化したなら、両方同じように落ちるはずです。
誤りの「種類」を並べたら、原因が見えた
原因を探すとき、私は「誤りの内容」ではなく「誤りの種類」を分類しました。これが効きました。
対話するAIが出した誤りを一つずつ並べたところ、はっきりした傾向がありました。
- 「あの機能は、もう実装されているはずだ」
- 「あのタスクは、完了しているはずだ」
- 「あのファイルは、こういう構成になっているはずだ」
全部、「今どうなっているか」=状態についての断定でした。
一方で、推論そのものの誤りは、一件もありませんでした。筋道を立てて考える力、選択肢を比較する力、リスクを見抜く力——そこは何も落ちていない。むしろ鋭いままでした。
落ちていたのは「考える力」ではなく、「現在の状態を正しく把握する力」だけだった。この切り分けが、原因を一気に絞り込みました。
なぜ「状態の断定」だけを間違えるのか
理由は、拍子抜けするほど単純でした。
対話するAIは、現物にアクセスできないのです。
そのAIが持っているのは、私が会話に貼り付けたテキストと、学習した時点までの知識だけ。手元のファイルの今の中身も、作業の今の進捗も、直接は見られません。言い換えると、過去のある時点で撮った「写真」しか持っていない。
一方で、実行するAIは違います。こちらは現物を直接読めます。ファイルの今の中身を開き、作業履歴を辿り、実際に動かして確かめられる。「写真」ではなく「現実」を見ている。
同じモデルでも、見ているものが「写真」か「現実」かで、状態の断定の正確さは決定的に変わる。片方だけ質が落ちたように見えた正体はこれでした。
本当の根っこ:引き継ぎ資料に「状態」を書いていた
ではなぜ、対話するAIに古い「写真」を渡してしまっていたのか。
私は、AIとの作業を引き継ぐための資料を用意していました。方針や判断の理由、決めごと——それをまとめて、新しい対話の最初に読ませていた。ここまでは良かった。
問題は、その資料に 「状態」を大量に書き込んでいた ことです。「今ここまで終わっている」「これは完了済み」「あれは未着手」。こういう記述です。
そして、状態は書いた瞬間から古くなり始めます。
数時間も経てば、完了したはずのタスクは次の状態に進み、未着手だったものは着手され、ファイルの構成は変わっている。にもかかわらず、資料には数時間前・数日前の状態が「事実」の顔をして残り続ける。
腐った資料を読んだAIが、腐った前提で断定する。品質が落ちて見えたのは、モデルのせいではなく、私がAIに古い写真を「これが現実だ」と手渡していたからでした。犯人は、AIでも、モデルでもなく、情報の設計だったわけです。
解決:情報の「非対称」を設計しなおす
原因が「情報の非対称」——現物を見られるAIと、写真しか持たないAIの差——だと分かれば、対処は情報の設計を変えることになります。モデルを変えることではありません。3つやりました。
1. 状態の真実を、現物を見られる側だけに持たせる
「今どうなっているか」を答える役割は、現物を直接読めるAIだけに与えました。写真しか持たないAIには、状態を断定させない。
新しい対話を始めるときの最初の一手を、こう固定しました。「現物を見られるAIに、今の状態を書き出させ、その出力を対話するAIに貼る」。これで、対話するAIが参照する状態は、常にその瞬間の現実になります。写真ではなく。
2. 引き継ぎ資料から「状態」を消す
引き継ぎ資料には、腐らないものだけを書くことにしました。方針や判断の理由、なぜそう決めたか。これらは時間が経っても腐りません。
逆に、「今どうなっているか」は一切書かない。腐る場所を、そもそも無くすという発想です。状態を知りたければ、現物を見られる側に聞く。資料には聞かない。
3. 検証できない前提を、AIに渡さない
そもそも対話するAIには、自分で真偽を確かめられない前提を渡さないことにしました。確かめられないことを断定させれば、外れるのは当たり前です。確かめられる側に確かめさせ、その結果だけを共有する。
この3つを回し始めてから、対話するAIの「質が落ちた」という感覚は、はっきり減りました。そして、仮に古い状態が資料に残っていても、現物を見られる側が照合して見つけ、正せるようになりました。モデルは何も変えていません。変えたのは、情報の渡し方だけです。
効いた比喩:地図と現在地
この一件を一番よく言い表せたのは、地図とGPSの比喩でした。
対話するAIは、優秀な地図を持っています。あらゆる土地の知識があり、道の繋がりを熟知している。地図としての性能は、まったく落ちていません。
問題は、その地図が「今、自分がどこにいるか」を知らないまま道案内をしていたことです。現在地がずれた道案内は、地図がどれだけ精密でも、間違った方向を指します。
必要だったのは、現在地を測り直すことであって、地図を買い替えることではなかった。品質が落ちたと感じたとき、多くの人は「地図(モデル)」を疑います。でも本当に疑うべきは「現在地(そのAIが今の状態を見られているか)」のほうだった、という話です。
まとめ:品質を疑う前に視界を疑う
AIの応答品質が落ちたと感じたときに、私がまずやることは、もう決まっています。
そのAIは、今、現物を見られているか。それとも古い写真を渡されているか。
ここを疑う。モデルを疑ったり、プロンプトを凝ったりするのは、その後で十分です。多くの「AIの質が落ちた」は、モデルの問題ではなく、AIに与えている情報が古い、あるいは検証できないものになっている——情報の非対称の問題だと、私は考えています。
道具が悪くなったと感じたときほど、道具の使い方——特に、道具に何を見せているか——を先に疑う。これは、AIに限った話でもない気がしています。
この記事は、一人法人でセキュリティ・IT統制まわりのサービスを運営している実務家としての、実体験にもとづいています。