0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AIの応答品質が落ちたとき、原因はモデルではなく「情報の非対称」だった

0
Last updated at Posted at 2026-07-15

この記事は、以前書いた「一人法人での規律あるAI活用」の続編にあたります。
前回は「AIに規律をどう設計するか」という総論でした。今回は、その規律が実際に破れた実例と、破れた本当の原因を書きます。結論を先に言うと、原因はモデルの劣化ではなく、AIに渡していた情報の構造にありました。

この記事で言いたいこと

AIを実務で使っていて「最近このAI、質が落ちたな」と感じたことはないでしょうか。私はありました。そしてその原因を突き止めた結果、こう考えるようになりました。

AIの品質が落ちたと感じたら、まず「そのAIが現物を見られているか」を疑うべきです。

モデルを疑うより先に、情報の与え方を疑う。今日はその話をします。

起きたこと:同じモデルなのに、片方だけ質が落ちた

私は日常的に、2種類のAIを使い分けています。

  • 対話するAI:設計や議論の相棒。ブラウザで動く、いわゆるチャット型。
  • 実行するAI:手元の環境で動き、ファイルを直接読み、コードを書き、その場で検証まで走らせるエージェント型。

役割は違いますが、背後にいるのは同じ世代のモデルです。

ある時期から、対話するAIのほうの出力品質が、はっきりと落ちました。誤認が増え、事実と違う断定が頻発するようになった。ところが、同じモデルであるはずの実行するAIのほうは、まったく正確なままでした。

同じモデルで、片方だけ質が落ちる。ここに引っかかりました。モデルが劣化したなら、両方同じように落ちるはずです。

誤りの「種類」を並べたら、原因が見えた

原因を探すとき、私は「誤りの内容」ではなく「誤りの種類」を分類しました。これが効きました。

対話するAIが出した誤りを一つずつ並べたところ、はっきりした傾向がありました。

  • 「あの機能は、もう実装されているはずだ」
  • 「あのタスクは、完了しているはずだ」
  • 「あのファイルは、こういう構成になっているはずだ」

全部、「今どうなっているか」=状態についての断定でした。

一方で、推論そのものの誤りは、一件もありませんでした。筋道を立てて考える力、選択肢を比較する力、リスクを見抜く力——そこは何も落ちていない。むしろ鋭いままでした。

落ちていたのは「考える力」ではなく、「現在の状態を正しく把握する力」だけだった。この切り分けが、原因を一気に絞り込みました。

なぜ「状態の断定」だけを間違えるのか

理由は、拍子抜けするほど単純でした。

対話するAIは、現物にアクセスできないのです。

そのAIが持っているのは、私が会話に貼り付けたテキストと、学習した時点までの知識だけ。手元のファイルの今の中身も、作業の今の進捗も、直接は見られません。言い換えると、過去のある時点で撮った「写真」しか持っていない。

一方で、実行するAIは違います。こちらは現物を直接読めます。ファイルの今の中身を開き、作業履歴を辿り、実際に動かして確かめられる。「写真」ではなく「現実」を見ている。

同じモデルでも、見ているものが「写真」か「現実」かで、状態の断定の正確さは決定的に変わる。片方だけ質が落ちたように見えた正体はこれでした。

本当の根っこ:引き継ぎ資料に「状態」を書いていた

ではなぜ、対話するAIに古い「写真」を渡してしまっていたのか。

私は、AIとの作業を引き継ぐための資料を用意していました。方針や判断の理由、決めごと——それをまとめて、新しい対話の最初に読ませていた。ここまでは良かった。

問題は、その資料に 「状態」を大量に書き込んでいた ことです。「今ここまで終わっている」「これは完了済み」「あれは未着手」。こういう記述です。

そして、状態は書いた瞬間から古くなり始めます。

数時間も経てば、完了したはずのタスクは次の状態に進み、未着手だったものは着手され、ファイルの構成は変わっている。にもかかわらず、資料には数時間前・数日前の状態が「事実」の顔をして残り続ける。

腐った資料を読んだAIが、腐った前提で断定する。品質が落ちて見えたのは、モデルのせいではなく、私がAIに古い写真を「これが現実だ」と手渡していたからでした。犯人は、AIでも、モデルでもなく、情報の設計だったわけです。

解決:情報の「非対称」を設計しなおす

原因が「情報の非対称」——現物を見られるAIと、写真しか持たないAIの差——だと分かれば、対処は情報の設計を変えることになります。モデルを変えることではありません。3つやりました。

1. 状態の真実を、現物を見られる側だけに持たせる

「今どうなっているか」を答える役割は、現物を直接読めるAIだけに与えました。写真しか持たないAIには、状態を断定させない。

新しい対話を始めるときの最初の一手を、こう固定しました。「現物を見られるAIに、今の状態を書き出させ、その出力を対話するAIに貼る」。これで、対話するAIが参照する状態は、常にその瞬間の現実になります。写真ではなく。

2. 引き継ぎ資料から「状態」を消す

引き継ぎ資料には、腐らないものだけを書くことにしました。方針や判断の理由、なぜそう決めたか。これらは時間が経っても腐りません。

逆に、「今どうなっているか」は一切書かない。腐る場所を、そもそも無くすという発想です。状態を知りたければ、現物を見られる側に聞く。資料には聞かない。

3. 検証できない前提を、AIに渡さない

そもそも対話するAIには、自分で真偽を確かめられない前提を渡さないことにしました。確かめられないことを断定させれば、外れるのは当たり前です。確かめられる側に確かめさせ、その結果だけを共有する。

この3つを回し始めてから、対話するAIの「質が落ちた」という感覚は、はっきり減りました。そして、仮に古い状態が資料に残っていても、現物を見られる側が照合して見つけ、正せるようになりました。モデルは何も変えていません。変えたのは、情報の渡し方だけです。

効いた比喩:地図と現在地

この一件を一番よく言い表せたのは、地図とGPSの比喩でした。

対話するAIは、優秀な地図を持っています。あらゆる土地の知識があり、道の繋がりを熟知している。地図としての性能は、まったく落ちていません。

問題は、その地図が「今、自分がどこにいるか」を知らないまま道案内をしていたことです。現在地がずれた道案内は、地図がどれだけ精密でも、間違った方向を指します。

必要だったのは、現在地を測り直すことであって、地図を買い替えることではなかった。品質が落ちたと感じたとき、多くの人は「地図(モデル)」を疑います。でも本当に疑うべきは「現在地(そのAIが今の状態を見られているか)」のほうだった、という話です。

まとめ:品質を疑う前に視界を疑う

AIの応答品質が落ちたと感じたときに、私がまずやることは、もう決まっています。

そのAIは、今、現物を見られているか。それとも古い写真を渡されているか。

ここを疑う。モデルを疑ったり、プロンプトを凝ったりするのは、その後で十分です。多くの「AIの質が落ちた」は、モデルの問題ではなく、AIに与えている情報が古い、あるいは検証できないものになっている——情報の非対称の問題だと、私は考えています。

道具が悪くなったと感じたときほど、道具の使い方——特に、道具に何を見せているか——を先に疑う。これは、AIに限った話でもない気がしています。


この記事は、一人法人でセキュリティ・IT統制まわりのサービスを運営している実務家としての、実体験にもとづいています。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?