ARC関連で後で見返せる用にメモです。
以下はchatgptでの出力まんまです。
Test-Time Training（TTT）とは？抽象的推論タスクで人間並みの性能を引き出す手法を解説🧠📈
こんにちは。この記事では、2024年11月に発表された論文
「The Surprising Effectiveness of Test-Time Training for Abstract Reasoning」
（著：Ekin Akyürekら）をベースに、Test-Time Training（TTT） という非常に興味深い手法を紹介します。
🧩 概要：Test-Time Training（TTT）とは？
Test-Time Training（TTT） とは、その名の通り、推論時（テスト時）にモデルを一時的に微調整する手法です。
通常、モデルは学習後は重みを固定し、推論だけを行いますが、TTTでは「その場でタスクに合わせてモデルを微調整する」ことで、特に少数ショット環境や未知タスクでの性能を大幅に向上させることができます。
🧪 適用先：ARC（Abstraction and Reasoning Corpus）
本論文では、主に以下のような論理的推論が求められるタスクでTTTを評価しています：
- ARC（Abstraction and Reasoning Corpus）：人間の直感・構造認識に近いスキルを要する
- BBH（BIG-Bench Hard）：言語・構文・数理パターンなどが複雑に絡む推論ベンチマーク
🔧 手法の流れ（ざっくり5ステップ）
1. テストタスクが与えられる（例：I/Oペア 3つ）
2. それを元に学習データ（D_TTT）を自動生成
3. 事前学習済みのLLM（例：Qwen-0.5B）に対し、LoRAなどを使って微調整
4. 数ステップの勾配更新でその場適応（高速）
5. 微調整後のモデルで出力を生成
🧠 どんな学習データを作るの？
テスト時に直接、モデルの入力として使用されるデータを以下のように加工します：
🟩 Leave-One-Out（LOO）形式
I/Oペア3つのうち2つをプロンプトとして使い、残り1つで損失計算。
🟨 Direct I/O形式
全てのI/Oペアをそのまま使ってモデルの勾配を計算。
💡 なぜ効果があるのか？
ARCのようなタスクでは**「各問題ごとにルールが違う」**ため、事前学習された一般的知識より、個別適応の方が圧倒的に有効。
LoRAのような軽量な微調整手法を使うことで、GPUがなくても短時間での適応が可能。
📈 結果（ARCベンチマーク）
手法 精度 (公開検証セット)
通常のfew-shot 約28–30%
TTT適用 53.0%
TTT + アンサンブル（プログラム生成など） 61.9%（人間並み）
また、BBHでも +7.3pp の改善（最終 57.8%）を記録しています。
🔄 TTT + AIRVループ
論文中では、さらに以下のような推論ループで性能を強化しています：
A: Augment（例を増やす）
I: Infer（推論する）
R: Reverse（逆処理を使って確認）
V: Vote（複数候補で投票）
このように、「その場学習」×「戦略的予測強化」を組み合わせることで、非常に強力な性能が得られています。
🛠️ 技術スタック
モデル：Qwen-0.5B（LoRA適用済）
微調整：LoRA + optimizer（Adamなど）
実行時間：約9時間（CPUのみでも可）
追加技術：逆強化学習、データ拡張、アンサンブルなど
🧭 TTTの活用シーン
用途 期待効果
少数ショット学習 タスク特化の適応で精度向上
マルチタスクLLM タスクごとに最適化可能
自動ルール発見 人間の推論に近い柔軟性を実現
ロジックベース課題 DSLや探索法を使わずに解決可能に
🔗 論文・リンク集
📄 論文PDF: ekinakyurek.github.io/papers/ttt.pdf
arXiv: https://arxiv.org/abs/2411.07279
コード公開（予定記載あり）
✏️ まとめ
Test-Time Training（TTT）は、「その場で学ぶ」という直感的かつ非常に強力な手法です。特に構造的・論理的タスクでは、プロンプトだけでは届かなかった性能の壁を超える可能性を秘めています。
今後も、TTTは「推論 = 固定」だった従来の常識を打ち破る鍵となるでしょう。