"Useful Memories Become Faulty When Continuously Updated by LLMs"
Dylan Zhang, Yanshan Lin, Zhengkun Wu, Yihang Sun, Bingxuan Li, Dianqi Li, Hao Peng
arXiv: 2605.12978 （2026年5月13日公開）
📌 この記事のまとめ
- AIエージェントが経験を「教訓」に要約して記憶を更新し続けると、記憶が劣化し、最終的に記憶なしの状態より悪くなることがある
- GPT-5.4 が記憶なしで 100%正解 できた問題が、記憶を統合した後に 52.6% まで低下
- 原因は入力データではなく 統合（consolidation）ステップそのもの
- 生の軌跡（エピソード記憶）を保持する方が、抽象化された記憶より安定して高性能
- 「経験が増えれば記憶は良くなる」という前提は間違い — これはAIエージェント設計への根本的な問題提起
1. はじめに：なぜこの論文が重要なのか
1.1 AIエージェントのメモリとは
最近のLLMベースのAIエージェントは、タスクを解いた後、その経験をテキストベースの記憶（textual memory） として保存し、次回類似タスクに遭遇した際に参照します。
タスク実行 → 経験の軌跡 → LLMが「教訓」に要約 → 記憶バンクに保存 → 次回タスクで参照
この仕組みは、パラメータ更新なしで自己進化するエージェントを実現する魅力的なアプローチとして、多くのフレームワーク（CLIN, AWM, Dynamic Cheatsheet, ACE など）に採用されています。
1.2 この論文の問い
「LLMが経験を繰り返し要約・統合し続けると、記憶は本当に良くなり続けるのか？」
答えは No です。本論文は、この「常識的な前提」を実験的に否定します。
2. 背景：2種類の記憶
認知科学において、人間の記憶は2種類の補完的なシステムで構成されています（McClelland et al., 1995）。
| エピソード記憶（Episodic） | 統合的記憶（Consolidated / Schema） | |
|---|---|---|
| 内容 | 生の経験の軌跡そのもの | 複数の経験から抽出された抽象的パターン |
| 特徴 | 文脈・詳細を保持 | 再利用可能、汎化能力 |
| 人間の脳 | 海馬に高速保存 | 皮層にゆっくり統合（睡眠中など） |
| 重要なポイント | 原始的な証拠として残る | 選択的に、徐々に形成される |
現在のAIエージェント記憶の問題
現在の主流フレームワークは 統合的記憶のみ を追求しています。
現在のアプローチ：
経験 → 即座に抽象化 → 記憶バンクに上書き保存 → 原始データは破棄
人間の脳：
経験 → エピソード記憶に完全保存 → 数日〜数週間かけて選択的に統合
→ エピソード記憶は依然としてアクセス可能
つまり、現在のエージェントは人間の脳の「ゆっくり・選択的な統合」プロセスを省略し、「即時・非選択的な統合」を毎回強制している。
3. 核心的発見：記憶効用は「先に上がり、後に下がる」
3.1 非単調（Non-monotonic）な記憶効用曲線
論文では、代表的なエージェントベンチマーク5つ（ALFWorld, ScienceWorld, WebShop, AppWorld, Mind2Web）と独自のARC-AGI Streamで実験を実施しています。
ScienceWorldでの結果（CLIN使用）
記憶更新回数: 0 10 20 30 50 80 100
性能（概略）: 低い → 上昇 → ピーク → 低下 → さらに低下 → 記憶なし基準以下
- 序盤：記憶が空→情報蓄積で性能上昇
- 中期：ピーク到達（約20ステップ付近）
- 後期：更新を続けると性能が低下し、記憶なしのベースラインを下回る
WebShopでの結果（AWM使用）
| 学習例数 | AWM（統合記憶） | 記憶なし基準 |
|---|---|---|
| 8 | 0.64 | 0.20 |
| 16 | 0.31 | 0.20 |
| 32 | 0.26 | 0.20 |
| 64 | 0.16 | 0.20 |
| 128 | 0.20 | 0.20 |
→ 記憶の規模を拡大すると、最終的に自分自身の全収益を消失させる
3.2 強い初期記憶も安定しない
GPT-5.4（最強モデル）で初期記憶を構築し、GPT-5-nanoで更新を継続。
評価はQwen3.5-{27B, 9B, 4B}の3モデルで交差検証。
結果：全3モデルで記憶効用の低下が確認。
記憶品質は初期 consolidator の能力ではなく、更新メカニズムそのものに依存する。
4. 最も衝撃的な実験：ARC-AGI Stream
4.1 実験設計
この実験は、干渉変数を最大限排除した「クリーンルーム」的実験です。
| 項目 | 内容 |
|---|---|
| タスク | ARC-AGI の6種類の問題タイプ（構造が既知） |
| 入力 | 正解（ground-truth solutions） を毎ステップ提供 |
| 更新方式 | Stream（逐次更新） vs Static（一括更新） |
| 評価 | 更新前後で同じ問題に再テスト |
4.2 衝撃的な結果
| 条件 | GPT-5.4 正答率 |
|---|---|
| 記憶なし | 100% (19/19) |
| Static-All（一括統合） | 94.7% |
| Stream R10（逐次更新10ラウンド） | 52.6% |
| Stream R50（逐次更新50ラウンド） | さらに低下 |
ポイント
同じ軌跡プール、同じ正解データ
┌─ Static（一括統合）→ 94.7% を維持
└─ Stream（逐次統合）→ 52.6% まで暴落（47ポイント低下！）
→ 差は入力データではない。統合の「やり方」が記憶の質を決める。
GPT-5.4 は正解を見ながら自分の記憶を作り、その記憶のせいで以前解けていた問題が解けなくなった。
5. なぜ統合は失敗するのか：3つのメカニズム
5.1 ❌ 誤った分類（Misgrouping）
統合の第一歩は「どの経験をグループ化するか」の判断です。
問題：LLMは構造的に異なるタスクの軌跡を混同してグループ化する。
具体例：ARC-AGI Stream の記憶エントリ
【GPT-5.4 が生成した記憶（強制統合モード）】
「使用場面：大きな中空の長方形フレームがオブジェクトを囲んでいる場合…
内部オブジェクトについて、同じ形のシグネチャを持つ外部オブジェクトを探し… ← ⚠️ 別ファミリーの手法
内部オブジェクトの中心セルを外部オブジェクトの色でマークする」 ← ⚠️ 別ファミリーの手法
→ shape-signature lookup（group-by-shape ファミリー）と marker color-write（key-marker ファミリー）が混在。どの問題ファミリーにも属さない合成物が生成されている。
対策の手がかり：
- Static-Group（タスクファミリーごとに別々に統合）は Static-All（全体を混ぜて統合）より大幅に高性能
5.2 ❌ 過度な汎化（Overgeneralization）
分類が正確でも、抽象化の過程で適用条件が剝がれ落ちる。
具体例：ScienceWorld の記憶エントリ
【過度に汎化された記憶】
「ライター、火源、またはオーブンを使用することが、
状態変化タスクにおいて物質の状態を変えるために必要な場合がある」
一見合理的だが、冷却・凍結・融解が必要なタスクも多数存在する。
「加熱」に偏ったバイアスをエージェントに植え付け、無関係や有害な場面でも加熱を選択させてしまう。
定量的比較：ScienceWorld タスク切り替え実験
| 条件 | 説明 | スコア差 |
|---|---|---|
| Fresh | 現在のタスクのみで記憶を蒸留 | ベースライン |
| Cumulative | 全過去タスクを跨いで統合 | -203点 |
- Cumulative は Fresh の 約5倍 の over-generalized 記憶を生成
- さらに 約20倍 の garbage（ゴミ）記憶を蓄積
5.3 ❌ 狭い入力流への過学習（Overfitting to Narrow Streams）
入力が狭い場合（同一タスクの類似問題が繰り返される場合）、記憶はパターンではなく特定のインスタンスの表面特徴を記憶してしまう。
具体例：記憶エントリの時間的変化
【"最大オブジェクトを再着色" タスクの記憶（GPT-5-mini）】
ラウンド1: 「入力から構造要素を特定・抽出 → グローバル指標（例: 最大サイズ）を計算
→ 要素を反復し、選択的に編集を適用」
↑ 具体的 — "最大サイズ" という計算可能な属性を記述
ラウンド50: 「各オブジェクトの数値属性の最大値を見つけ、
その属性が最大値と等しい全オブジェクトに均一な変換を適用」
↑ 抽象的すぎる — どの属性を最大化するかが消失
→ 50回の書き換えで、解法の核心情報が蒸発した。
6. ARC-AGI Stream：Auto vs Force モード比較
6.1 実験設計
論文では、エージェントに2つの記憶ストアを同時に維持させます。
┌────────────────────────────────────────────┐
│ エージェントの記憶システム │
│ │
│ ┌────────────────┐ ┌────────────────┐ │
│ │ Episodic Buffer│ │ Abstract Store │ │
│ │（生の軌跡保持） │ │（統合された教訓）│ │
│ └────────────────┘ └────────────────┘ │
│ │
│ 各ステップで選択可能な行動： │
│ ・Retain → 生の軌跡を保持 │
│ ・Delete → 古い項目を削除 │
│ ・Consolidate → 複数エピソードから教訓を抽出 │
└────────────────────────────────────────────┘
| モード | 説明 |
|---|---|
| Force | 毎ラウンド強制的に統合。エピソード保持は不可 |
| Auto | エージェントが自主的に Retain / Delete / Consolidate を選択 |
| Episodic Only | 統合を無効化。保持と削除のみ |
6.2 結果
| 条件 | GPT-5.4 累積成功率（400ステップ） |
|---|---|
| 記憶なし | 22.0% |
| Force（強制統合） | 23.8% |
| Auto + Episodic容量50 | 35.5% |
| Auto + Episodic容量100 | 37.8% |
6.3 消融実験（Ablation Study）
| 参照する記憶 | 結果 |
|---|---|
| Abstract Only（統合記憶のみ） | 記憶なしベースラインと同等 → 統合記憶は単独では価値がない |
| Episodic Only（生の軌跡のみ） | Autoモードのほぼ全ての増益を回収 |
| Auto（両方使用） | Episodic Only よりわずかに高い |
核心的結論：有効な情報は全て生の軌跡に含まれている。統合記憶だけでは価値を生まない。
6.4 Autoモードの興味深い振る舞い
エージェントに自主権を与えると、以下の行動パターンが観察されました：
| Episodic容量 | Consolidate（圧縮）割合 | Retain（保持）割合 |
|---|---|---|
| 50 | 32.5% | 58.5% |
| 100 | 20.8%（半減） | 60.8% |
→ バッファが大きいと、エージェントは圧縮頻度を大幅に下げ、生の軌跡を保持することを選択する。
最終的に、エージェントは各問題タイプに対して少数の代表的軌跡を保持する安定状態に収束します。適切なセグメンテーション能力はエージェントに元々備わっている — ただし、強制統合がそれを上書きしてしまう。
7. 認知科学的基盤
7.1 相補的学習システム理論（Complementary Learning Systems）
McClelland et al. (1995) が提唱したこの理論は、人間の脳に2つの記憶メカニズムが並行して動作することを示しています。
人間の脳：
海馬 ──────── 高速・エピソード記憶（個別経験を忠実に保存）
│
│ 睡眠中にゆっくり統合（selective consolidation）
↓
皮層 ──────── 低速・スキーマ記憶（パターンの抽象化）
※ 統合後も、元のエピソード記憶は引き続きアクセス可能
現在のAIエージェント：
LLM ──── 高速・強制統合（毎回のインタラクション後に即座に抽象化）
│
↓
テキスト記憶バンク ──── 上書き保存（原始データは消失）
※ 統合と問題解決が同一モデルで実行される
7.2 エージェント記憶との対応
| 認知科学の概念 | 人間の脳 | 現在のAIエージェント | 問題 |
|---|---|---|---|
| エピソード保持 | ✅ 海馬に完全保存 | ❌ 即座に破棄 | 原始証拠の喪失 |
| 統合の速度 | ゆっくり（日〜週） | 即座（毎ステップ） | 過早な抽象化 |
| 統合の選択性 | メタ認知が関与 | 無条件・非選択的 | 不要な統合の頻発 |
| 統合後の原始アクセス | ✅ 可能 | ❌ 不可能 | 検証不能 |
7.3 メタ認知の欠如
人間は記憶を統合する際、メタ認知システムが以下を判断します：
- これは覚えるべきか？
- どの粒度で抽象化すべきか？
- 既存知識との矛盾はどう処理するか？
現在のLLMエージェントでは、consolidator と solver が同一モデルです。自分が生成した抽象の品質を自分で監視する必要がありますが、Chain-of-Thought の説明が実際の計算と乖離することが既に知られており（Turpin et al., 2023）、この自己監視は信頼できません。
8. 既存フレームワークへの影響
本論文の知見は、以下のフレームワークの設計前提に直接疑問を投げかけます。
| フレームワーク | 現在の記憶戦略 | 論文が示唆する改善 |
|---|---|---|
| CLIN (Majumder+, 2023) | テキスト記憶を持続更新 | エピソード・バッファの追加、統合のゲート制御 |
| AWM (Wang+, 2024) | ワークフロー記憶の自動蓄積 | 生の軌跡と抽象教訓の明確な区分 |
| Dynamic Cheatsheet (Suzgun+, 2026) | チートシートの動的更新 | バージョン履歴の保持、ロールバック機能 |
| ACE (Zhang+, 2025) | 再利用可能スキルへの持続抽象化 | 抽象の遅延実行、原始証拠の先行保持 |
9. 実践的な設計原則
論文から導出される4つの設計原則：
原則1：生のエピソードを第一級の証拠として保持する
- ❌ 全ての軌跡を「圧縮すべき原材料」として扱う
+ ✅ 生の軌跡は一級証拠。抽象化は追加のオプション
原則2：統合は明示的にゲート制御する
- ❌ 毎回のインタラクション後に自動統合を発火
+ ✅ 明確なシグナル（例：十分な類似経験の蓄積）がある時のみ統合をトリガー
原則3：抽象化の産物からは原始軌跡へ遡及可能にする
- ❌ 統合後に元データを削除
+ ✅ 抽象化された記憶には、元の軌跡への参照を付与
原則4：記憶システムにバージョン管理とロールバック機能を持たせる
- ❌ 記憶は常に上書き更新
+ ✅ 誤った抽象化を「忘却」できる仕組みを導入
10. 論文の限界
著者らは以下の4つの限界を明示しています：
| 限界 | 詳細 |
|---|---|
| ベンチマーク | テキスト型エージェントベンチマーク + ARC-AGI のみ。具身・多モーダル・ツール密集型の生産環境では未検証 |
| 記憶形式 | 自然言語の抽象のみ。パラメトリック記憶（重み更新/モデル蒸留）や構造化非テキスト表現は対象外 |
| モデル | Consolidator/Solver は現行LLM。より強力な/専門化された consolidator では結論が変わる可能性あり |
| 統計 | API コスト制限により繰り返し回数が少なく、正式な誤差棒なし。クロスモデル・クロスベンチマークの一貫性で信頼性を補強 |
11. まとめ：AIエージェント開発者へのメッセージ
この論文が否定したこと
❌ 「経験が増えれば記憶は良くなる」は安全な仮定ではない
この論文が肯定したこと
✅ LLMは経験から有用なパターンを抽出する能力を持っている
✅ ただし、いつ・どのように統合するか のメタ認知的制御が欠如している
一言でまとめると
「経験越多，記憶越差（経験が増えるほど、記憶は悪くなる）」は逆説ではなく、現在のアーキテクチャの必然
論文の最後の一文を引用します：
"Until agents can control when and how to consolidate experience, continuously updated textual memory should be treated not as a reliable engine of self-improvement, but as a fragile mechanism that can make more experience produce worse memory."
エージェントが経験の統合を自律制御できるようになるまで、持続的に更新されるテキスト記憶は、自己改善の信頼できるエンジンではなく、より多くの経験がより悪い記憶を生み出す脆弱なメカニズムとして扱うべきである。
12. 今後の探究課題
- エピソード・バッファ機構 の既存フレームワークへの実装
- 異なる consolidator（GPT-5.4 vs Claude vs Qwen）による抽象品質の比較
- パラメトリック記憶（ベクトルDB埋め込み）が同じ法則に従うかの検証
- マルチモーダルエージェント（視覚+テキスト）における記憶劣化パターンの調査
- 専門的にファインチューニングされた consolidator の開発
参考文献
- 本論文: Zhang et al., "Useful Memories Become Faulty When Continuously Updated by LLMs", arXiv:2605.12978, 2026
- プロジェクトページ: https://dylanzsz.github.io/faulty-memory/
- CLIN: Majumder et al., 2023
- AWM: Wang et al., "Agent Workflow Memory", ICML 2025
- Dynamic Cheatsheet: Suzgun et al., 2026
- ACE: Zhang et al., 2025
- 相補的学習システム: McClelland et al., 1995
- 記憶の再構成: Bartlett, 1932
- CoT の信頼性: Turpin et al., 2023