今のAIには、決定的に欠けているものがある
ChatGPTでもClaudeでもGeminiでも、どのモデルでも同じことが起きている。会話が終わった瞬間、そのモデルはあなたと話したことをすべて忘れる。 メモリ機能があっても、それは「思い出せるようにテキストを保存して検索している」だけで、モデルの重み（=知能そのもの）は事前学習が終わった時点で凍結されている。
これは些末な制約ではない。Andrej Karpathyが「LLMは認知的に欠けている」と評し、AGIを10年先だと見積もった理由の一つが、まさにこの「継続学習ができない」という一点だった。Ilya Sutskeverも継続学習の実現を「5〜20年」先だと語っていた。
その「10年」という時間軸が、今まさに書き換わろうとしている。
結論から言うと
- 現在のLLMは、事前学習で固定された重みと入力コンテキストの範囲内の情報しか扱えない。新しい知識を学ぶには重みを更新するしかなく、それは破滅的忘却（catastrophic forgetting）、つまり古い知識を上書きしてしまうリスクを伴う
- Google Researchは2025年11月7日、この問題に対する新しい枠組み「Nested Learning」を発表した。モデルのアーキテクチャと学習アルゴリズムを「別々の層」ではなく、入れ子状の多層最適化問題として統一的に扱うという考え方
- 中核にあるのが「Continuum Memory System（CMS）」。従来の「短期記憶＝Attention／長期記憶＝Feedforward」という二分法をやめ、異なる更新頻度を持つ複数の記憶モジュールの連続体として記憶を再設計した
- これを実装した「Hope」というアーキテクチャは、Titans（2024年12月末発表）を自己修正可能に拡張したもので、**自分自身の記憶を書き換える"無限にループする学習レベル"**を持つ。言語モデリング・常識推論・長文脈でTitans・Samba・Transformerを上回る結果を示した
- 同じ時期、Anthropicの研究者Sholto Douglasは「No Priors」ポッドキャストで、継続学習は2026年中に"納得のいく形で"解決されると発言。KarpathyやSutskeverの見積もりを大きく前倒しする発言として、AI業界で議論を呼んだ
本記事は、Google Researchの公式ブログ「Introducing Nested Learning」（2025年11月7日公開）、arXiv論文「Nested Learning: The Illusion of Deep Learning Architectures」（2025年12月31日投稿、NeurIPS 2025採択）、「Titans: Learning to Memorize at Test Time」（2024年12月31日投稿）、および複数メディアが報じたSholto DouglasのNo Priorsポッドキャストでの発言をもとにした解説です。研究成果の解釈には筆者の要約が含まれます。
なぜ「継続学習」がAIの一番大きな壁なのか
新しいモデルが出るたびに話題になるのはベンチマークの点数やコンテキストウィンドウの長さだが、もっと根本的な制約がずっと放置されている。
現在のTransformerベースのLLMは、知識を静的な重み行列にエンコードする。新しい情報を学習させるには、その重みを更新するしかない。しかし重みを更新すれば、それまで学習していたパターンが壊れる これが破滅的忘却だ。
だから実務では、次のどちらかで妥協するしかなかった。
- ファインチューニングする：新しい知識は入るが、古い能力が劣化するリスクを常に抱える
- ファインチューニングしない：モデルは安全だが、デプロイされた瞬間から一切成長しない
人間の従業員なら、仕事をしながら経験を積んで賢くなっていく。今のAIエージェントは、何万回使われても1年前と同じ知能のままだ。 これはエージェント設計の限界そのものであり、MCPやマルチエージェント・オーケストレーションといった「AIの周りの仕組み」をどれだけ工夫しても解決できない、モデルの内部構造に根ざした問題だ。
Nested Learning：アーキテクチャと最適化を「同じもの」として扱う
Google Researchの提案が面白いのは、問題の切り方そのものを変えた点だ。
従来の発想では「モデルのアーキテクチャ」と「それを訓練する最適化アルゴリズム（Adamなど）」は別々の話として扱われてきた。Nested Learningは、この2つを"同じ入れ子状の最適化問題の異なる層"として統一的に捉える。論文は、Adamのような勾配ベースの最適化手法自体が「勾定情報を圧縮する連想記憶モジュール」として機能していると論じ、さらに表現力の高い代替手法を提案している。
この枠組みから生まれたのが、記憶を「短期／長期」の二分法ではなく、更新頻度が異なる複数の記憶モジュールの連続体として再設計する「Continuum Memory System（CMS）」だ。
- 更新頻度が速いモジュール：直近の情報を処理する、いわば短期記憶
- 更新頻度が遅いモジュール：より抽象的な知識を長期にわたって統合する、いわば長期記憶
この2つが固定された役割分担ではなく、連続的なスペクトルとして共存することが、従来のTransformerのAttention（短期記憶）＋Feedforward（長期記憶）という単純な二分法よりも豊かな記憶システムを実現するという主張だ。
Hope：自分の記憶を自分で書き換えるモデル
CMSを実装したアーキテクチャが「Hope」で、2024年末に発表された「Titans」（テスト時に記憶する仕組みを持つアーキテクチャ）を自己修正可能に拡張したものだ。
Hopeの一番奇妙で興味深い特性は、「無制限のレベルのコンテキスト内学習」を活用できる自己修正型の再帰アーキテクチャだという点だ。CMSブロックを備え、自分自身の記憶を自己参照的なプロセスで最適化できる 研究者たちはこれを「無限にループする学習レベル」と表現している。
ベンチマーク上の結果も示されている。
- 言語モデリング・常識推論タスクで、Titans・Samba・標準的なTransformerより低いパープレキシティと高い精度
- 長文脈のNeedle-in-Haystackタスクで、TTTやMamba2より優れた性能
論文は2025年12月31日にarXivへ投稿され、タイトルは意図的に挑発的だ。「Nested Learning: The Illusion of Deep Learning Architectures（深層学習アーキテクチャという幻想）」。NeurIPS 2025に採択されている。
研究者自身も認めている通り、HopeとCMSは特定のタスクで破滅的忘却を"軽減"した結果を示したにすぎず、破滅的忘却という現象そのものが一般的に「解決」されたわけではない。ベンチマークでの勝利と、実運用に耐える汎用的な解決は別物だ。
Sholto Douglasの「2026年中に解決」発言が意味すること
ここで話が一段階、生々しくなる。
Anthropicの研究者Sholto Douglasは、「No Priors」ポッドキャスト（Sarah Guo・Elad Gil出演）で2026年の予測を語った際、こう述べた。
「おそらく継続学習は"納得のいく形で"解決される。家庭用ロボットの最初のテスト導入が始まり、ソフトウェアエンジニアリングそのものが完全に様変わりする一年になる」
この発言が業界で驚きを持って受け止められたのは、それまでの専門家の見積もりを大きく前倒しする内容だったからだ。
| 発言者 | 継続学習・AGIへの見積もり |
|---|---|
| Andrej Karpathy | AGIは10年先。継続学習の欠如を「認知的な欠陥」の一つと指摘 |
| Ilya Sutskever | 継続学習の実現は5〜20年先 |
| Sholto Douglas（Anthropic） | 継続学習は2026年中に「納得のいく形で」解決される |
「10年」が「今年」に縮む発言は当然、インサイダーの誇張だと疑う声も出た。ただ、Google Researchが同時期にNested Learning／Hopeという具体的な技術的アプローチで破滅的忘却の緩和に手をつけていることを踏まえると、「解決に近づいている方向性そのものは事実」と捉えるのが妥当だろう。「納得のいく形で解決」という言葉の曖昧さは、まだ誰も正確な定義を持っていないことの裏返しでもある。
10年先を見据えるなら、ここに賭ける理由
このシリーズでは新しいモデルのリリースや価格競争を追うことが多いが、それらは全部、この壁の"外側"の話だ。コンテキストウィンドウが1Mトークンになっても、価格が半額になっても、モデルは依然としてデプロイされた瞬間から一歩も成長しない。
継続学習が本当に「納得のいく形で」解決されたとき、変わるのはここだ。
- 企業向けAIが、使うほど賢くなる。今は数ヶ月おきの再学習・ファインチューニングでしか改善できないシステムが、日々の運用から直接学習するようになる
- パーソナルエージェントが、本当の意味で"育つ"。今のメモリ機能はテキスト検索の工夫にすぎない。継続学習が解決されれば、モデルの重みそのものがユーザーとの関係を反映して変化していく
- ロボティクスが、現場で学んだスキルを失わない。Sholto Douglasが同じ発言で「家庭用ロボットの最初のテスト導入」に言及したのは偶然ではない。物理世界で試行錯誤しながら学ぶロボットには、継続学習が前提条件になる
- AGI論争の力学が変わる。継続学習の欠如を理由に「AGIは10年先」と言っていた前提そのものが崩れれば、議論の土台からやり直しになる
まとめ
| 観点 | 内容 |
|---|---|
| 問題 | LLMは事前学習で重みが凍結され、デプロイ後は成長しない（破滅的忘却） |
| Google の提案 | Nested Learning：アーキテクチャと最適化アルゴリズムを統一的な入れ子構造として扱う |
| 記憶の再設計 | Continuum Memory System：更新頻度が異なる記憶モジュールの連続体 |
| 実装 | Hope（Titansの自己修正拡張）。言語モデリング・長文脈タスクで既存手法を上回る |
| 発表時期 | Titans：2024年12月31日／Nested Learning：2025年11月7日（ブログ）・12月31日（論文、NeurIPS 2025） |
| インサイダー予測 | Anthropic・Sholto Douglas「継続学習は2026年中に納得のいく形で解決される」 |
| 明確な限界 | 破滅的忘却は"軽減"されただけで、一般的に解決されたわけではない |
モデルの価格やベンチマーク順位を追いかけるニュースは毎週のように出る。だが、「デプロイされたAIが経験から学び続けられるかどうか」は、その全部よりも大きい問いだ。今のところは研究レベルの前進とインサイダーの大胆な発言が並んでいる段階だが、10年後にAIがどう振る舞っているかを決めるのは、間違いなくこの壁がいつ、どう崩れるかだ。
この記事が役に立ったら、いいねと保存をお願いします！
「継続学習」が解決されたら、あなたのワークフローで一番変わるのはどこだと思いますか？
参考リンク
Introducing Nested Learning: A new ML paradigm for continual learning - Google Research
Nested Learning: The Illusion of Deep Learning Architectures - arXiv
Titans: Learning to Memorize at Test Time - arXiv
Thoughts on Anthropic's 2026 Prediction for Continual Learning? - Aiville
Predictions for 2026 - prinz