0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@harupython

Geminiが急に「馬鹿になった」？ Memoryとモデルを切り分けたら、原因は1つじゃなかった

0
Posted at

最近Geminiを使っていて、妙に感じることが増えました。

「いや、なんでそう解釈した？」

そこまで難しくない文章なのに、こちらが言っていない背景を勝手に補完したり、関係のない方向へ話を広げたりする。

最初は単純に、

「最近のGemini、なんか馬鹿になってない？」

と思っていました。

ところが、GeminiのMemoryをOFFにすると正常に戻るケースがありました。

そこで気になったのが、

モデルそのものが弱くなったのではなく、過去のチャットやパーソナライズ用の情報が、逆に最新モデルの邪魔をしているのでは？

ということ。

実際にMemory、Temporary Chat、ログアウト状態、Google AI Studio、複数モデルを使って切り分けてみました。

先に結論

今回の検証では、原因は1つではなさそうでした。

  • MemoryをOFFにすると改善したケースがあった
  • Memoryを使わないTemporary Chatでも失敗するケースがあった
  • 同じ文章でもFlash-Lite系は意図を外し、3.6 / 3.8 Flashでは正しく理解した
  • 不正解のときは「分からない」と止まるのではなく、存在しない背景をそれっぽく補完する傾向が見えた

つまり、少なくとも今回の環境では、

「Memoryによる文脈汚染っぽい問題」と「モデル側の文脈理解・過剰補完っぽい問題」が別々に存在しているように見えました。

ただし、後述する通り、今回だけで「Memoryが原因」「Flash-Liteが原因」と断定できるわけではありません。

GeminiのMemoryは実際に過去チャットを使う

Google公式ヘルプによると、GeminiのMemoryは過去のチャットを参照し、ユーザーとその環境をより深く理解するための機能です。

MemoryがONなら、過去に話したプロジェクトや好みを毎回説明し直さなくても済みます。

これは普通に便利です。

ただ、今の質問に関係のない情報まで強く効いたらどうなるのか、という疑問もあります。

Google自身も、Memoryが使われたか確認したい場合はGeminiに「過去のチャットの情報を利用しましたか？」と聞けると案内しています。

きっかけ：「何このデータベース」で挙動が変わった

きっかけは、かなり短い質問でした。

何このデータベース

普段のGeminiでは、過去の会話に引っ張られたような妙な回答になりました。

ところがMemoryをOFFにして同じように試すと、こちらは改善しました。

この時点では、

「Memoryが原因だったのでは？」

と思いました。

でも、別の文章で試すと話はそんなに単純ではありませんでした。

「パソコンって生き物だったんだ」を理解できるか

次に使ったのが、このタイプの文章です。

パソコンが来てから中学より少しできるようになった人です
→ パソコンって生き物だったんだ

意図はかなり単純です。

「パソコンが来てから」という言い方を、人や動物が「やって来た」ように読んで、

「パソコンって生き物だったんだ」

とツッコんでいます。

なお、入力文が変だから失敗しただけでは？という可能性を避けるため、検証では2種類を試しました。

1つは、元のコピペに近い、重複や誤字をあえて残した崩れた版。

もう1つは、文章を普通に読みやすく整えた版です。

どちらでも結果の傾向は同じでした。

なので、少なくとも今回観測した差は「誤字だらけだったから」だけでは説明しにくそうです。

まずGeminiアプリのFlash-Lite

Memoryの影響を避けるため、Temporary Chatでも試しました。

GoogleによればTemporary Chatは最近のチャットやGemini Apps Activityに残らず、Geminiのパーソナライズにも利用されません。

それでも結果は外れました。

06_gemini_app_temporary_chat_1.png

別の回でも、

07_gemini_app_temporary_chat_2.png

「機嫌が悪い」「フリーズする」「愛情に反応する」「ブートループする」など、こちらが一言も言っていない背景を作り始めます。

自分が言いたかったのは、ただの

「“来てから”って生き物みたいな言い方だな」

というツッコミです。

ここで、Memoryだけが原因という説はいったん崩れました。

ログアウト状態でも試す

念のためログアウト状態でも試しました。

01_gemini_app_loggedout_flash_lite.png

こちらも、ツッコミの構造そのものを拾うより、

「PCが相棒になった」「学力やタイピングを引っ張り上げてもらった」

という別のストーリーを作る方向へ進みました。

Google AI Studioでモデルを変える

次にGoogle AI Studioで、System instructionsなし、検索などのToolsもOFFにして比較しました。

Gemini 3.8 Flash / Thinking Medium

02_ai_studio_gemini_3_8_flash.png

これは一発で意図を理解しました。

回答では「パソコンが来てから」を、まるでパソコンが自分で歩いて家に来たような表現として解釈しています。

Googleは3.8 Flashを、現行の「最もインテリジェントなFlashモデル」と説明しています。

Gemini 3.6 Flash / Thinking Medium

03_ai_studio_gemini_3_6_flash.png

こちらも正解。

「パソコンが（自分の足でトコトコ）来てから」と捉えていて、こちらのツッコミの構造をきちんと理解しています。

Gemini 3.5 Flash-Lite / Thinking Minimal

04_ai_studio_gemini_3_5_flash_lite.png

こちらは外れました。

「最近のAIやPCって、生き物っぽいよね」という方向に展開し、

「来てから」→ 生き物みたい

ではなく、

「生き物だったんだ」→ なぜPCを生き物と思ったのか考えよう

と逆向きに補完しています。

Gemini 3.1 Flash-Lite / Thinking Minimal

05_ai_studio_gemini_3_1_flash_lite.png

さらに分かりやすい結果でした。

「パソコンが生き物みたいだと感じる、とても素敵な感性ですね」と解釈。

ツッコミではなく、こちらが本気で「PCは生き物だ」と感じていることになっています。

結果をまとめる

条件 結果 今回の観測
Geminiアプリ / Memory ON △ 別の短文で過去文脈に引っ張られたような回答
Geminiアプリ / Memory OFF ○ 「何このデータベース」は改善
Geminiアプリ / Temporary Chat / Flash-Lite × 言葉遊びを誤認、存在しない背景を補完
Geminiアプリ / ログアウト / Flash-Lite × 同様に言葉遊びを誤認
AI Studio / Gemini 3.8 Flash / Medium ○ ツッコミを正しく理解
AI Studio / Gemini 3.6 Flash / Medium ○ ツッコミを正しく理解
AI Studio / Gemini 3.5 Flash-Lite / Minimal × PCが生き物っぽい理由を生成
AI Studio / Gemini 3.1 Flash-Lite / Minimal × 本当にPCを生き物だと思っていると解釈

今回かなり面白かったのは、不正解の仕方です。

Flash-Lite側は「分からない」と返すのではなく、文章中の「生き物」という単語を中心に、もっともらしい背景を新しく作っていました。

文章だけ読むと自然です。

でも、ユーザーの意図とはズレています。

こういう「自然に間違う」挙動が、体感としての「なんか最近馬鹿になった？」につながるのかもしれません。

Memoryが悪い、とまでは言えない

ここは大事です。

今回、MemoryをOFFにすると改善したケースはありました。

一方で、Memoryを使わないTemporary Chatやログアウト状態でも失敗しています。

そのため、

「Geminiがおかしくなる原因はMemoryだけ」

とは言えません。

また、今回のAI Studio比較では、3.6 / 3.8 FlashをThinking Medium、3.1 / 3.5 Flash-LiteをMinimalで試しています。

つまり、純粋なモデル差だけでなくThinking量の差も混ざっています。

今回言えるのは、あくまで

今回試した条件では、Flash系とFlash-Lite系で文脈理解の結果が大きく分かれた

というところまでです。

それでも「余計な文脈が邪魔をする」現象自体は珍しくない

LLMに無関係なコンテキストを追加すると性能が落ちることは、既存研究でも報告されています。

2023年のICML論文「Large Language Models Can Be Easily Distracted by Irrelevant Context」では、問題解決に不要な情報を入力へ混ぜることで、LLMが容易に影響を受けることが示されています。

さらに2026年のRPEvalという研究では、パーソナライズ用のMemoryが現在の質問と無関係な場合、LLMの意図理解を妨げる問題そのものが評価対象になっています。

もちろん、これらの研究とGemini内部の実装が同じという意味ではありません。

GoogleはGeminiのMemoryを内部でどう検索し、どの形式でモデルに与えているかまでは公開していません。

なので、

「旧モデルが作ったメモリが最新モデルを壊している」

と断定する材料はまだありません。

ただ、長期間蓄積した会話やパーソナライズ情報が、現在の質問に不要な形で効けば回答を悪化させる、という仮説自体は十分あり得ます。

まとめ

最初は「Gemini最近ちょっと馬鹿になった？」というだけの疑問でした。

でも切り分けてみると、かなり面白い結果になりました。

  • Memoryを切ると改善するケースがある
  • Memoryなしでも失敗するケースがある
  • 同じ言葉遊びを上位のFlashは理解できる
  • Flash-Liteでは、意図が分からない部分をもっともらしい背景で埋めることがある
  • 故意に崩した文章でも、普通に整えた文章でも傾向は同じだった

個人的に一番気になったのは、「分からない」ではなく「それっぽい話を作る」ことでした。

AIが長期記憶を持つのは便利です。

ただ、覚えている情報が増えるほど賢くなるとは限らないし、軽量化したモデルでも同じ理解力が保たれるとは限らない。

「モデルが劣化した」と感じたとき、モデルそのものだけでなく、Memory、パーソナライズ、使われているモデル、Thinking設定まで分けて見る必要がありそうです。

もう少し条件を揃えて追加検証してみたいと思います。

参考

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?