ChatGPTが“考えて待つ”時代へ：Sleep-time Computeで爆速＆省コスト化

【爆速応答】LLMが「質問される前に考える」！？Sleep-time Computeが変える推論の常識

今回は、2025年4月に発表された話題の研究論文「Sleep-time Compute: Beyond Inference Scaling at Test-time」をご紹介します。
この研究は、AIが“ユーザーの質問が来る前”に思考を始めるという革新的な枠組みを提案し、LLMの応答コスト・速度・精度すべてを改善する可能性を秘めています。

論文情報

タイトル: Sleep-time Compute: Beyond Inference Scaling at Test-time
リンク: https://arxiv.org/abs/2504.13171
発表日: 2025年4月17日
著者: Kevin Lin, Charlie Snell, Yu Wang, Charles Packer, Sarah Wooders, Ion Stoica, Joseph E. Gonzalez
DOI: arXiv:2504.13171

背景：Test-time Computeの壁

高性能なLLMは、難問に対して 長く考えるほど正確になる ことが知られています。
しかし、現状の「Test-time Compute」手法には以下のような限界があります：

応答まで 数十秒〜数分 待たされる
推論コストが 1問数ドル にもなる
同じ文脈でも 毎回ゼロから計算される（非効率）

こうした問題に対して本論文は、クエリが来る前＝Sleep-time に文脈を先読み・処理しておくことで、
Test-timeの推論コストを劇的に削減できることを示しました。

着想：Sleep-time Computeとは何か？

数式で見る処理フロー

\text{Sleep-time処理: } S(c) \rightarrow c'

\text{Test-time応答: } T_b(q, c') \rightarrow a

(c)：文脈（code, document, 会話ログなど）
(q)：ユーザークエリ
(c')：Sleep-timeで得られた「再表現済み文脈」
(S)：Sleep-time推論器（再要約・数式変換・因果展開など）
(T_b)：低コストのテスト時推論器（bは低予算）

直感的イメージ

🧠 Sleep-time = モデルが「今後あり得る質問」に備えて思考を先行すること

たとえばChatGPTがSlack Botとしてチームの会話履歴を常にモニターしていた場合、
Sleep-timeで事前にトピックの要点・過去の会話構造・依頼パターンなどを抽出・保存しておくことで、
実際に誰かが話しかけた瞬間に「即座に適切な応答」ができるようになります。

プロンプトの具体例（Appendixより）

You are Letta, the latest version of Limnal Corporation’s expert reasoning system.
You will now perform sleep-time compute by analyzing the following context:
Context: A juggler can juggle 800 balls...
Task: Draw inferences that might be helpful for any future question.

Sleep-time中に得られた再表現（c′）：

The juggler has 800 balls. Of these, 200 are tennis balls (1/4). 
100 of the tennis balls are indigo (1/2 of 200). 
10 of these indigo balls are marked (1/10 of 100).

この再構成された知識があれば、次の質問に即座に答えられます：

Q1: How many marked indigo tennis balls are there? → 10
Q2: How many tennis balls are there? → 200

実験結果（言語でグラフ再現）

🎯 精度 vs トークン消費のPareto最適性

GPT-4o-mini + GSM Symbolicでは、テスト時のトークン数が1/5 に削減されても同精度を維持
Claude 3.7 + AIME問題では、Sleep-time処理をスケールするほど最大+18%の精度改善

♻️ マルチクエリ対応による2.5倍のコスト効率

同じ文脈から10問の質問を受ける場面で、Sleep-time Computeを1回だけ実行 → その結果を使いまわして回答

Sleep-time Computeの全体像：推論スケーリングの地図

スケーリング戦略	実行タイミング	特徴	Sleep-timeとの関係
Sequential CoT	Test-time	長い思考経路をたどる	高精度だがレイテンシ大
Parallel Sampling (pass@k)	Test-time	複数回答から最良選択	検証器必要、応答爆発しやすい
Speculative Decoding	Test-time	トークン予測高速化	結果の保証性が弱い
Sleep-time Compute	Pre-query	文脈だけを処理、再利用可能	時間と文脈を分離できる唯一の手法

応用展開と可能性

領域	Sleep-timeの使い方
教育AI	授業資料にSleep-timeで事前解説を生成、質問時に即回答
法律事務支援	契約書全文にSleep-timeで法的リスク抽出、問い合わせ応答を高速化
ヘルスケア	診療記録にSleep-time処理を施し、問診時に即時診断補助
自律型エージェント	スケジュール・会話・コード変更ログなどをSleep-timeで事前理解し、計画立案を高速化

考察：Sleep-timeは「言語内記憶と認知」を再構築するか？

この手法は、自然言語ベースで再構成された文脈 (c′) を 半構造化記憶として使う点が革新的です。

パラメタ更新を伴わない「言語的な意味表現」
動的な文脈変化に追従可能な「非アーキテクチャ的記憶」
GPTシリーズなど既存モデルでも容易に導入可能

これは、**自然言語による言語内表現学習（Language-as-Memory）**という新たなAI設計の可能性を示唆します。

賛否両論

✅ 賛成派の意見

コスト・速度・再利用性すべてを向上できる希少な手法
様々なLLMタスクに応用可能（教育、医療、法務など）
将来的な「認知的なLLM」の構成要素になり得る

⚠️ 懸念派の意見

Sleep-time中の処理が冗長になると逆効果
クエリが予測不可能な場合は無意味
適用タイミングや文脈選定に追加制御が必要（例：何をc′化するか）

まとめ

Sleep-time Computeは、LLMが「考えるタイミング」を再設計する概念です。
この手法により、今後のAIは**質問を待たずに“先に思考する”**ことが可能になります。
それは、もはやモデルが「反応する存在」から「備える存在」へと進化している兆しかもしれません。

この記事が皆さんのLLM活用・研究に役立つことを願っています。
コメントやブックマークをいただけると励みになります！