時系列予測の新潮流：In-Context Fine-Tuningで実現する推論時適応型Foundation Model

はじめに

大規模言語モデル（LLM）の成功により、「プロンプトによる推論時の適応」という概念が注目を集めています。では、時系列予測の分野でも同様のアプローチは可能なのでしょうか？

ICML 2025で発表された論文「In-Context Fine-Tuning for Time-Series Foundation Models」は、この問いに対して興味深い答えを提示しています。この研究は、Google Researchが主導し、時系列Foundation ModelであるTimesFMをベースに開発されたものです¹²。従来の時系列Foundation Modelとは異なり、推論時にコンテキストとして複数の関連時系列データを与えることで、モデルを対象ドメインに適応させるという新しいアプローチを提案しています。

本記事では、この研究の核心的なアイデアと、なぜこれが時系列予測にとって重要なのかを解説します。

従来の時系列予測の課題

タスク特化型学習の限界

従来の時系列予測モデルは、典型的な教師あり学習のフレームワークに従っていました：

このアプローチには以下の問題がありました：

• ドメイン毎に再学習が必要：新しいタスクに対応するたびにモデルを再訓練
• 小規模データでの性能低下：十分な訓練データがない場合、汎化性能が低い
• 転移学習の困難さ：異なるドメインの知識を活用することが難しい

Foundation Modelの登場

近年、複数のドメインにまたがる大規模な時系列データで事前訓練されたFoundation Modelが登場し、ゼロショット予測で良好な性能を示すようになりました。

しかし、既存の時系列Foundation ModelにはLLMのようなin-context learning能力が欠けていました。つまり、推論時にコンテキストとして追加情報を与えることで性能を向上させる機構がなかったのです。

In-Context Fine-Tuningのアイデア

核心的なコンセプト

本研究が提案するIn-Context Fine-Tuningは、以下の問いに基づいています：

「推論時に、対象時系列と関連する複数の時系列例をコンテキストとして与えたら、モデルは対象ドメインの分布により適応できるのではないか？」

これは、LLMが追加のプロンプトによって性能を向上させるのと同様の考え方です。

アーキテクチャの特徴

提案手法の特徴：

1. 事前訓練の段階から設計：モデルは訓練時から、コンテキスト内の複数の関連時系列を活用するように学習される
2. 推論時の柔軟な適応：明示的なファインチューニングなしに、コンテキスト例を通じて対象ドメインに適応
3. 関連性の活用：対象時系列と似た特性を持つ時系列例を与えることで、より良い予測を実現

実験結果：驚くべき性能

本研究では、23個の未見データセット（事前訓練時に使用されていないデータセット）で包括的な評価を行いました¹。これらのデータセットは、分単位から年単位まで様々な粒度をカバーし、金融、需要予測、気象、交通など多様なドメインを含んでいます。

評価指標とベンチマーク

評価には以下の手法を使用しています：

• MASE (Mean Absolute Scaled Error): 全手法で計算
• 正規化: 季節的なナイーブベースライン（前期の値を繰り返す）で正規化
• 集約: 幾何平均（Geometric Mean）で全データセットを集約

ベースラインとの比較

20以上のベースラインとの比較を実施：

• タスク特化型深層学習モデル: DeepAR、N-BEATS、WaveNet、PatchTST
• 統計的手法: ARIMA、指数平滑法（ETS）
• 他のFoundation Model: Chronos-T5、LLMTime

実験結果の詳細

TimesFM-ICFの設定：

• 最大50個のin-context例をサポート
• 各予測タスクで5個の系列内例 + 残りは同一データセット内の他の時系列からランダムサンプリング
• ランダム性があるため10回実行して平均値を報告

主な結果：

1. TimesFM (Base)と比較: 6.8%の精度向上
2. 次善のベースライン（PatchTST）と比較: 5%の精度向上
3. TimesFM-FT（明示的ファインチューニング）と比較: 同等の性能を達成

計算効率の優位性

推論速度の比較：

• TimesFM-ICF: 全ベンチマーク完了に25分
• TimesFM-FT: 全ベンチマーク完了に418分（各データセットでファインチューニングが必要）
• 結果: TimesFM-ICFは16倍高速に完了

これは、TimesFM-ICFが1回の推論あたりの時間はやや長いものの、データセット毎のファインチューニングが不要なため、全体として大幅に高速であることを示しています。

最も興味深い発見

In-contextで例を与えるだけで、明示的にファインチューニングしたモデルと同等の性能を達成

これは衝撃的な結果です。通常、ドメイン適応には明示的なファインチューニング（勾配更新を伴う再訓練）が必要とされてきました。しかし、適切に設計されたFoundation Modelであれば、推論時に適切なコンテキスト例を与えるだけで同等の効果が得られることを示しています。

なぜこれが重要なのか

1. 実用性の向上

ファインチューニング不要という特性は、実務での展開において大きな利点です：

• GPU資源や計算時間が不要
• モデルのバージョン管理が簡単（1つのモデルで複数のドメインに対応）
• データが少ないドメインでも適応可能

2. LLMとの概念的な統一

時系列予測分野が、LLMで確立された「in-context learning」のパラダイムに接近しつつあることを示しています。これにより：

• マルチモーダルFoundation Modelへの統合が容易に
• プロンプトエンジニアリングの知見を時系列予測に応用可能
• 統一的なフレームワークでの開発が進む

3. 新しい研究の方向性

本研究は以下の問いを投げかけます：

• どのようなコンテキスト例を選べば最も効果的か？
• コンテキストウィンドウのサイズはどう設計すべきか？
• 異なるドメイン間での転移学習をどう最適化するか？

技術的な深掘り：どう実現しているのか

ベースモデル：TimesFM

本研究は、Google Researchが開発した**TimesFM (Time-series Foundation Model)**をベースにしています²。TimesFMは以下の特徴を持つDecoder-onlyモデルです：

• パッチトークン化: 連続する32時点をパッチとしてトークン化
• 入力残差ブロック: 各パッチを埋め込みベクトルに変換
• スタックTransformer: Decoder-only方式で処理
• 出力残差ブロック: 128時点の予測値に変換

重要な設計要素

論文では、In-Context Fine-Tuningを実現するために、以下の3つの重要な設計要素が導入されています¹：

1. 分離トークン（Separator Token）

問題: 複数の時系列を単純に連結すると、モデルが混乱する可能性があります。

例えば、複数の単調増加トレンドを連結すると、三角波のような全く異なるパターンに見えてしまいます。

解決策: 各in-context例の後に学習可能な共通分離トークンを挿入します。これにより：

• モデルは異なるデータソースを区別できる
• 分離トークンは、その例の情報を要約する役割を果たす可能性がある

2. クロスサンプルアテンション（Cross-Example Attention）

モデルは、分離トークンを含む全ての過去のパッチに因果的にアテンドできます。

これにより：

• 分離トークンに注目することで、既に処理した例の数を認識できる
• 異なるin-context例間の境界を明確に理解できる
• 各例の情報を統合して、対象時系列の予測に活用できる

3. 継続事前訓練（Continued Pretraining）

既存のTimesFM (Base)モデルから始めて、in-context例を含む新しいデータセットで継続的に事前訓練を行います：

1. TimesFM (Base): 元の単一時系列予測モデルを事前訓練
2. アーキテクチャ修正: 分離トークンとクロスサンプルアテンションを追加
3. 継続訓練: in-context例を含むデータセットで追加訓練
4. TimesFM-ICF: In-context learning能力を持つ新しいモデルを獲得

訓練戦略の詳細

Decoder-onlyアプローチ：

• 標準的な次トークン予測タスク
• Causal Self Attention（CSA）により、未来の情報は参照しない
• Feed-Forward Network（FFN）との組み合わせ
• 可変長の履歴・ホライズン・in-context例に対応

柔軟性：

• 履歴長（L）とホライズン長（H）を動的に変更可能
• in-context例の数（n-1）を0から最大値まで調整可能
• 各in-context例の長さ（T_i）も可変

アテンション機構の役割

Transformerベースのアーキテクチャでは、アテンション機構が以下の役割を果たします：

• 関連性の高いコンテキストに注目：ターゲット時系列と似た特性を持つ例に高い重みを付与
• 動的な適応：入力されるコンテキストに応じて、予測戦略を調整
• 長距離依存関係の学習：時系列内だけでなく、異なる時系列間の関係も学習

実装時の考慮事項

本手法を実際に適用する際には、以下のポイントが重要です：

コンテキスト例の選択戦略

論文では、以下の戦略が採用されています¹：

基本戦略：

• 系列内例: 対象時系列自体の過去データから5個サンプリング
• 系列間例: 同一データセット内の他の時系列からランダムサンプリング
• 合計: 最大50個のin-context例をサポート

選択時の考慮点：

• ドメインの類似性: 対象時系列と同じドメインまたは似た特性を持つデータを選ぶ
• 統計的特性: 季節性、トレンド、ボラティリティなどが似ているデータが有効
• データの質: ノイズが少なく、信頼性の高いデータを優先

コンテキストウィンドウのサイズ

実験設定：

• TimesFM-ICFは最大512トークンの例を処理可能
• パッチサイズは32時点のため、約16,384時点の履歴を扱える
• 最大50個のin-context例をサポート

トレードオフ：

• メリット: コンテキスト例が多いほど情報は豊富で精度向上
• デメリット: 計算量が増加（Transformerのアテンションはトークン数の2乗に比例）
• 実務的な推奨: 5-50個の範囲で実験的に最適値を見つける

推論時の動作フロー

1. 対象時系列の準備: 予測したい時系列の履歴データを用意
2. in-context例の選択: 関連する時系列例を選択・サンプリング
3. 入力の構成:

   [in-context例1] [分離トークン] [in-context例2] [分離トークン] ... [対象時系列履歴]
   

4. 推論実行: モデルが全コンテキストを考慮して予測
5. 結果取得: 未来のホライズンに対する予測値を取得

今後の展望と研究課題

論文で提起されている課題

論文では、今後の研究方向として以下が示されています¹²：

1. 自動的なコンテキスト選択

現状の課題：

• 現在は、同一データセット内からランダムまたはヒューリスティックに選択
• 最適な例の選択基準が明確でない

今後の方向性：

• 対象時系列との類似度を自動計算するアルゴリズム
• 予測タスクに最も関連性の高い例を動的に選択
• 強化学習などを用いた選択戦略の最適化

2. より長い文脈への対応

現状の制限：

• 最大512トークンの例に制限
• 非常に長期の依存関係を捉えるには不十分な場合がある

今後の方向性：

• より効率的なアテンション機構（Sparse Attention、Linear Attentionなど）
• 階層的な時系列表現の活用

3. マルチモーダル対応

拡張の可能性：

• テキスト情報（ニュース、説明文）との統合
• 画像データ（衛星画像、チャート）の活用
• 異なるモダリティ間の関係学習

産業応用の具体例

論文とGoogle Research Blogで言及されている応用例¹²：

金融市場

• 応用: 類似銘柄の動きを参照した株価予測
• 利点: 市場全体の動向を考慮した予測が可能

小売・需要予測

• 応用: 関連商品のデータを活用した在庫最適化
• 利点: 新製品でも類似製品のデータから学習可能

エネルギー管理

• 応用: 近隣地域のデータを用いた電力消費予測
• 利点: 地域特性を反映した精密な予測

医療診断

• 応用: 類似患者のバイタルデータを参照した予後予測
• 利点: 個別化医療への貢献

実務展開の roadmap

短期（1-2年）：

• TimesFM-ICFのオープンソース実装の公開（期待）
• 特定ドメインでの実証実験とケーススタディ
• ベストプラクティスの確立

中期（3-5年）：

• マルチモーダル対応の実現
• エンタープライズ向けSaaSサービスの提供
• 業界標準としての確立

長期（5年以上）：

• 時系列予測のデファクトスタンダードへ
• より複雑な意思決定支援システムへの統合
• AGI（汎用人工知能）への貢献

よくある質問（FAQ）

Q1: In-Context Fine-Tuningと通常のFine-Tuningの違いは？

A: 最も重要な違いはパラメータの更新が不要という点です。

• 通常のFine-Tuning: 勾配降下法によりモデルのパラメータを更新（再訓練が必要）
• In-Context Fine-Tuning: 推論時にコンテキスト例を入力として与えるだけ（パラメータは固定）

これにより、GPUリソースや時間を大幅に節約でき、1つのモデルで複数のドメインに柔軟に対応できます。

Q2: この手法は既存の時系列Foundation Modelにそのまま適用できる？

A: いいえ、そのままでは適用できません。

In-Context Fine-Tuningを実現するには、事前訓練の段階からコンテキスト例を活用するようにモデルを設計する必要があります¹。

必要な要素：

1. 分離トークンの導入: 各in-context例の後に学習可能な特別なトークンを挿入
2. クロスサンプルアテンション: 分離トークンを含む全ての過去のパッチにアテンド
3. 継続事前訓練: in-context例を含むデータセットで追加訓練
4. 位置エンコーディングの調整: 複数時系列をまたぐ柔軟な位置情報

つまり、単に既存モデルにin-context例を入力するだけでは機能せず、モデルの設計段階から組み込む必要がある機能です。

論文では、TimesFM (Base)から始めて継続事前訓練を行うことで、既存の知識を保持しながらin-context learning能力を追加しています。

Q3: 小規模なデータセットでも使える？実務での導入ハードルは？

A: はい、むしろ小規模データでこそ威力を発揮します。

論文の実験では、23個の未見データセットで評価を行い、ゼロショット（追加訓練なし）で高性能を達成しています¹。

小規模データでの優位性：

1. 大規模事前訓練の活用: 多様なドメインで学習済みのため、少数の例でも適応可能
2. In-context学習: 数個のコンテキスト例だけでドメイン特性を把握
3. 訓練不要: 新しいドメインでも、既存データから例を選ぶだけで予測可能

実務での導入ステップ：

1. 事前訓練済みモデルの入手: TimesFM-ICFなどの公開モデルを利用（将来的に）
2. データの準備: 対象時系列と関連する時系列データを収集
3. コンテキスト例の選択: 類似性や関連性に基づいて例を選択
4. 推論実行: APIまたはライブラリ経由で予測を取得

導入ハードル：

• 低い: ファインチューニング不要、GPU不要（推論時）
• データ要件: 対象ドメインの時系列データがあれば利用可能
• 計算コスト: 推論時の計算量は増えるが、訓練コストはゼロ

実験では、全ベンチマーク（23データセット）の完了時間が、ファインチューニング版より16倍高速（25分 vs 418分）だったことが報告されています¹。

まとめ

本記事では、ICML 2025で発表された「In-Context Fine-Tuning for Time-Series Foundation Models」について解説しました。

重要なポイント：

• 時系列予測にLLMのin-context learningの概念を導入
• 推論時にコンテキスト例を与えるだけで、明示的なファインチューニングと同等の性能を実現
• 実務での展開が容易で、計算リソースを大幅に削減できる
• 時系列Foundation Modelの新しい設計パラダイムを提示

この研究は、時系列予測分野における大きなパラダイムシフトを予感させます。今後、同様のアプローチがさらに発展し、より実用的で強力な時系列Foundation Modelが登場することが期待されます。

参考文献

1. Faw, M., Sen, R., Zhou, Y., & Das, A. (2025). In-Context Fine-Tuning for Time-Series Foundation Models. In Proceedings of the 42nd International Conference on Machine Learning (ICML 2025). OpenReview ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸ ↩⁹

2. Sen, R., & Zhou, Y. (2025, September 23). Time series foundation models can be few-shot learners. Google Research Blog. https://research.google/blog/time-series-foundation-models-can-be-few-shot-learners/ ↩ ↩² ↩³ ↩⁴