わずか3Bパラメータのモデルが、家事タスクベンチマークALFWorldで平均成功率 91.8% を記録した。同一条件のGRPOは 75.0%。差は16.8ポイントである。

しかも、報酬関数は1行も書き足していない。プロセス報酬モデル(PRM)用の追加ラベルもなければ、蒸留元となる大型の教師モデルも存在しない。増えたのは、モデル自身が自分の行動履歴から書き起こした「後知恵スキル」というテキストだけだ。

2026年7月16日にarXivへ投稿された論文「SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning」(arXiv:2607.14777、Jinyang Wuら11名)は、エージェント強化学習の積年の課題である「疎な報酬」問題に対して、外部リソースを一切追加しないという意外な角度から答えを出した。本記事ではその仕組みを数式レベルで分解する。

前提:なぜエージェントRLの報酬は「疎」なのか

まず問題設定を正確に押さえたい。LLMエージェントの強化学習では、GRPO(Group Relative Policy Optimization、DeepSeekMath論文で提案された手法)に代表される アウトカムベースRL が事実上の標準になっている。仕組みはこうだ。

同じタスクに対して複数のロールアウト(試行)を生成する
各試行の最終結果(成功/失敗、スコア)だけを報酬として受け取る
グループ内で報酬を正規化し、その値を 試行内の全トークンに同じ符号で 割り当てる

問題は3番目にある。30ステップのツール呼び出しを含む長い試行が失敗したとき、実際には28ステップ目の1つの判断だけが致命的だったとしても、勾配は全ステップの全トークンに等しく「悪かった」と伝わる。逆もまた然りで、たまたま成功した試行に含まれる無駄な行動まで強化される。

SEED論文はこの構造を次のように表現している。

rewards are often sparse, delayed, and assigned at the trajectory level(報酬はしばしば疎で、遅延し、軌跡レベルで割り当てられる)。これが episode-level の結果と token-level の方策学習の間に supervision gap(教師信号の空隙)を残す。

この空隙を埋める既存アプローチは、どれも「何かを追加で用意する」必要があった。

アプローチ	追加で必要なもの	弱点
プロセス報酬モデル(PRM)	ステップ単位のラベルとPRMの学習	ラベルコストが高く、報酬ハッキングに脆弱
大型教師モデルからの蒸留	性能が上の教師モデル	教師の上限を超えられない、コスト大
スキルライブラリ(Voyager系)	スキルの蓄積と検索基盤	コンテキスト注入のみで重みに残らない、静的化しやすい
SEED	なし(自己の軌跡のみ)	後述の限界を参照

SEEDの仕組み:2つのループが絡み合う

SEEDの中核は、完了済みのオンポリシー軌跡を「後知恵スキル」に変換し、その行動効果を方策モデル自身に蒸留し戻す ことにある。論文のアブストラクトから引用する。

We propose SEED (SElf-Evolving On-Policy Distillation), a self-evolving framework that converts completed on-policy trajectories into training-time hindsight skills and distills their behavioral effect back into the policy model.

構成要素は2つだ。

1. 後知恵スキル抽出(Hindsight Skill Extraction)

ロールアウトが終わるたびに、方策モデル自身が その軌跡を読み返し、自然言語で「スキル」を書き起こす。成功軌跡からは再利用可能なワークフローを、失敗軌跡からは失敗回避パターンを抽出する。人間が書いたチートシートではなく、モデルが自分の経験から生成した後知恵メモである。

重要なのは、このスキル生成能力自体もSFTで更新され続ける点だ。方策が改善すれば、生成されるスキルの質も上がる。スキルと方策が 共進化 する設計になっており、これが名前の「Self-Evolving」の由来である。

2. 密なオンポリシー蒸留(Dense On-Policy Distillation)

ここが技術的な核心だ。同じ行動 a を、2種類のコンテキストで再スコアリングする。

通常履歴 h_ordinary:普通のエージェント文脈
スキル付き履歴 h_skill:後知恵スキルを注入した文脈

そして両者の対数確率の差分を取る。

Δ = stop_gradient[log π_θ(a | h_skill) − log π_θ(a | h_ordinary)]

Δ が正なら「スキルを知っていれば、この行動をより高い確信度で選べた」ことを意味する。この Δ をシグモイドに通したゲート g = σ(β_opd・Δ) で蒸留の強さを制御し、スキルを見ている自分を教師、見ていない自分を生徒 として、トークン単位の蒸留損失を構成する。勾配は通常履歴側の分岐にのみ流れる(論文はこれを confidence-gated sampled-token distillation と呼ぶ)。

最終的な学習目的は、通常のRL損失との単純な加重和である。

L_SEED(θ) = L_rl(θ) + λ_opd・L_opd(θ)

軌跡レベルの疎な報酬(L_rl)と、トークンレベルの密な自己蒸留信号(L_opd)を同時に最適化する。教師は自分自身なので追加モデルは不要で、蒸留によってスキルの効果は重みに焼き込まれるため、推論時にはスキルをコンテキストに入れる必要がない。コンテキストエンジニアリングの成果を重み更新に変換するパイプライン、と言い換えてもよい。

数字で見る効果:3ベンチマーク+アブレーション

Qwen2.5-3B-Instructでの主要結果を論文の報告値から抜粋する(SDARはスキル拡張系のベースライン手法)。

ベンチマーク	指標	GRPO	SDAR	SEED
ALFWorld	平均成功率	75.0%	84.4%	91.8%
WebShop	成功率	63.3%	-	78.9%
WebShop	スコア	79.8	-	88.5
検索ベースQA	平均正解率	36.4%	-	45.7%

同様の傾向はQwen2.5-7B-InstructとQwen3-1.7Bでも確認されており、モデルサイズを問わず一貫している。テキスト環境だけでなく視覚ベースのエージェントタスクでも改善が報告され、サンプル効率(同じ性能に到達するまでの試行数)でも優位とされる。

アブレーション(ALFWorld、3B)は設計の勘所を示している。

変種	平均成功率	フルからの低下
フルSEED	91.8%	-
後知恵スキルSFTを除去	86.0%	−5.8pt
自己進化型OPDを除去	87.0%	−4.8pt
オンポリシースキルを静的ライブラリに置換	84.4%	−7.4pt

最大の低下は、スキルを 静的ライブラリに置き換えた 場合に生じる。つまりVoyager以来定番だった「スキルを貯めて検索して注入する」方式は、方策の現在地とズレた古いスキルを供給してしまい、共進化する動的スキルに大きく劣る。この−7.4ポイントは、スキルライブラリ設計の常識に対する小さくない反証だ。

本論文は2026年7月16日投稿のプレプリントであり、査読を経ていない。数値はすべて著者報告値である。

限界と批判的に見るべき点

論文自体は本文での限界の議論が薄く(付録Eで理論解析の空隙に触れる程度)、その点も含めて割り引いて読む必要がある。

ベンチマークの規模が小さい。 ALFWorld、WebShop、検索QAはエージェントRL研究の定番だが、いずれも行動空間が狭い学術ベンチマークだ。SWE-Bench級の実世界コーディングタスクや、数百ステップの長期タスクで同じ利得が出るかは未検証である。

モデルが小さい。 検証は1.7B〜7Bに限られる。疎な報酬による教師信号の空隙は大型モデルでも存在するが、大型モデルは少数の報酬からでも汎化しやすいため、利得が縮む可能性がある。

計算コストが増える。 各行動を2種類のコンテキストで再スコアリングし、さらにスキル生成のSFTを回すため、素のGRPOより学習時の計算量は確実に増える。論文の主張はサンプル効率の改善だが、ウォールクロック効率での比較は別問題だ。

自己増幅バイアスのリスク。 教師が自分自身である以上、モデルが誤った後知恵(たまたま成功しただけの手順の過剰一般化など)をスキル化すれば、その誤りが密な信号として増幅される。ゲート g はこれをある程度抑えるが、原理的な保証はない。

5〜10年の視点:デプロイ後の軌跡が学習データになる

SEEDが面白いのは、単発の性能改善ではなく、同時期の議論と合流する位置にあることだ。2026年7月1日投稿のポジション論文「Next-Generation Agentic Reinforcement Learning Systems Enable Self-Evolving Agents」(arXiv:2607.01120)は、現在の本番エージェントが 重みもプロンプトもツールも凍結されたまま デプロイされている現状を問題視し、経験から進化し続けるエージェントシステムを次世代の中心課題に据えた。

SEEDはこの文脈で見ると、「経験→言語化されたスキル→重み」という変換経路の具体的な実装例である。現在のエージェント業界では、経験の蓄積はもっぱらコンテキスト側(メモリファイル、スキルライブラリ、CLAUDE.mdのような指示書)で行われている。SEEDのアブレーションが示したのは、その静的な蓄積方式には明確な性能上限があり、蓄積物を重みに還流させるループを閉じたときに最大の利得が出る、という事実だ。

この方向が実用化されれば、デプロイされたエージェントの毎日の軌跡ログは、そのまま翌週の蒸留教材になる。ファインチューニングの民主化とオンポリシー蒸留のコスト低下が続けば、「自社のワークフローで自己進化するエージェント」は5〜10年スパンで現実的な運用形態になりうる。一方で、自己増幅バイアスの監査、スキル汚染(誤った後知恵の混入)の検出、進化するエージェントの挙動保証という、静的モデルには存在しなかったガバナンス問題が同時に立ち上がる。疎な報酬の空隙を埋める技術は、評価と統制の空隙という新しい宿題を連れてくる。

まとめ

エージェントRLの疎な報酬問題に対し、SEEDは報酬・ラベル・教師モデルを追加せず、自己の軌跡から生成した後知恵スキルの自己蒸留で密なトークン単位の教師信号を作る
ALFWorldでGRPO比+16.8pt(75.0%→91.8%)、WebShop成功率+15.6pt、検索QA+9.3ptを3Bモデルで報告
スキルを静的ライブラリに置き換えると−7.4ptで、共進化する動的スキルの寄与が最大という結果は、既存のスキルライブラリ設計への反証になっている
小規模ベンチマーク・小規模モデル・著者報告値という留保付きで、コンテキストの知見を重みに還流させる路線の有力な実証例

参考リンク

SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning (arXiv:2607.14777)

Next-Generation Agentic Reinforcement Learning Systems Enable Self-Evolving Agents (arXiv:2607.01120)

DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models (GRPO提案論文)

Voyager: An Open-Ended Embodied Agent with Large Language Models