0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@masataka46(孝充 大政)

論文まとめ：On-Policy Reinforcement Fine-Tuning with Offline Reward for Multi-Step Embodied Planning

0
Last updated at Posted at 2026-10-25

はじめに

ACL 2026（Long Papers）から以下の論文
[1] Di Wu, et. al. On-Policy Reinforcement Fine-tuning with Offline Reward for Multi-Step Embodied Planning
のまとめ

1. 概要

  • 本手法 ORBITは、VLM によるロボットの高レベルな Task Planning を、強化学習で改善するしくみ
  • モデルが生成した行動列と保存済みのExpert Trajectoryを比較して報酬を計算する点が特徴

スクリーンショット 2026-10-26 5.06.29.png

上図右のようにTask Planingを教師ありで学習させると overfitting してしまう。

一方で、Online RL だと overfitting の恐れが少ないが、上図左のように一般的には VLM が選択した行動を環境やシミュレータで実行し、状態遷移と報酬を得ることになる。そのため、ロボットのタスクが長くなると、環境との相互作用に時間がかかり、成功・失敗などの終端報酬も疎になる。

ORBITは学習中の環境実行を省きながら、現在のVLMが生成した回答を用いるOn-policy Reinforcement Fine-Tuning（RFT）を行う。具体的には最初にSFTを実施し、その後、Offline RewardとGRPOによってモデルを更新する。

2. この研究でのTask Planningとは

本研究のPlannerは、関節角度・トルク・軌道のような低レベル制御値を直接出力しない。ロボットに実行させる高レベルな離散行動列（Action Sequence / Executable Plan）を生成する。

  • 入力：自然言語のタスク指示、ロボットの視点画像、これまでの行動履歴
  • 出力：場面に関する説明や推論、自然言語の計画、および実行可能なAction Sequence

例として「リンゴを取り、あらかじめ決めておいたソファに置く」というタスクを考える。

スクリーンショット 2026-10-26 6.58.42.png

このように、画像とinstructionが与えられる。これを入力とし、以下の Task Planing を出力する。

{
  "language_plan": "リンゴを見つけ、把持し、ソファーまで移動して配置する",
  "executable_plan": [
    {"action": "Find", "target": "apple"},
    {"action": "PickUp", "target": "apple"},
    {"action": "Navigate", "target": "sofa"},
    {"action": "PutDown", "target": "apple"}
  ]
}

状況としては以下（ただし画像は出力しない）。

スクリーンショット 2026-10-26 7.02.26.png

3. 全体フロー

まず state を以下のように表す。

s_n = (g, o_n, a_{0:n-1})
  • $g$：タスク目標
  • $o_n$：時点 n の視覚観測
  • $a_{0:n-1}$：過去の行動履歴

VLMはこの条件の下で、残りの行動列をまとめて予測する。

\hat{a}_{n:} \sim \pi_\theta(\cdot \mid s_n, L, P)

$\pi_\theta$：学習対象のVLM
L：言語指示
P：固定プロンプト

学習は

  1. SFT：Expert風の推論文と行動列を模倣し、出力形式や基礎的な計画能力を獲得する。
  2. RFT：Offline rewardを用いた On policy 強化学習で汎化性能を獲得する。

とした２段階。

さらにRFT部分は以下のステップで

  1. Offline Reward：VLMが同じ入力について複数の回答を生成し、各回答の行動列をExpertと比較し、数値報酬を計算する
  2. GRPO：グループ内の相対的な報酬によりVLMのパラメータを更新する
  3. データフィルタリング：正解率が極端な候補群を除外し、学習信号を確保する

学習する。

4. SFT：正解トークンを模倣する段階

最初のSFTでは、Rewardは使用しない。正解応答に含まれる推論文と行動列の各トークンについて、尤度を最大化する。通常の自己回帰モデルとして書けば、Loss は以下である。

\mathcal{L}_{\mathrm{SFT}}(\theta)
= -\mathbb{E}_{(x,y^*)\sim \mathcal{D}}
\left[\sum_{t=1}^{T} \log \pi_\theta(y_t^*\mid x,y_{<t}^*)\right]

$x$：入力
$y^*$：正解応答
$t$：出力トークンの位置

SFTは、記録された正解の模倣には適しているものの、別解を明示的に評価しない。よって汎化性能が低い。

5. RFTのstep1：Offline Reward：正解行動列との先頭一致を評価

まず同じ入力 x に対して、temperatureなどを利用して現在の方策から複数の回答を生成する。

y_1,\ldots,y_G \sim \pi_{\theta_{\mathrm{old}}}(\cdot\mid x)

このそれぞれの回答に対して以下で報酬を決定する。

R_{\mathrm{accuracy}} = \frac{n(n+1)}{k(k+1)}
  • $k$：Expertの正解行動列の長さ
  • $n$：VLMの出力が先頭から連続して一致する行動数

例えばExpertが A → B → C → D の4行動であれば、以下のようになる。

生成した行動列 先頭一致数 n Accuracy Reward
A → B → C → D 4 1.0
A → B → X → D 2 0.3
A → X → C → D 1 0.1
X → B → C → D 0 0.0

途中で誤った場合、その後に同じ行動が現れても先頭一致数は増えない。ロボットの作業手順では、前段の失敗が後続行動の意味を失わせるため、順序を重視した評価となる。

6. RFTのstep2：GRPO：RewardからVLMを更新する

先に求めたORBIT RewardはLossではない。 Rewardを使って相対的なAdvantageを算出し、GRPO（Group Relative Policy Optimization）によってVLMの生成確率を更新する。

各回答 $y_i$ についてReward $R_i$を計算し、グループ内で標準化したAdvantageを求める。

A_i = \frac{R_i-\bar R}{\sigma_R+\epsilon},
\qquad
\bar R=\frac{1}{G}\sum_{i=1}^{G}R_i

$A_i$ が正なら同じグループ内で比較的良い回答、負なら比較的悪い回答である。ORBITの設定では、1入力あたり8候補を生成する。

方策勾配は一般的に以下

\nabla_\theta J(\theta)
\approx \frac{1}{G}\sum_{i=1}^{G}
A_i\nabla_\theta \log\pi_\theta(y_i\mid x)

なので、Offline RewardによるRFTの目的関数を以下で表す。

J_{\mathrm{RFT}}^{\mathrm{off}}(\pi)
= \mathbb{E}_{y\sim\pi(\cdot\mid x)}
\left[A_{\mathrm{off}}(x,y^a;y_E)\log\pi(y\mid x)\right]
-\beta D_{\mathrm{KL}}(\pi\|\pi_{\mathrm{ref}})
  • $y$：推論文と行動列を含むVLMの回答全体
  • $y^a$：そのうち行動列に該当する部分
  • $y_E$：Expert Trajectory
  • $A_{off}$：Offline Rewardから求めたAdvantage
  • $π_{ref}$：学習の基準となる参照方策
  • $β$：元の方策からの逸脱を抑えるKL正則化の重み

実際にはGRPOの最適化には確率比とClippingなどが用いられる。確率比は、

\rho_{i,t}(\theta)=
\frac{\pi_\theta(y_{i,t}\mid x,y_{i,<t})}
{\pi_{\theta_{\mathrm{old}}}(y_{i,t}\mid x,y_{i,<t})}

と定義する。Clippingは1回の更新で生成確率が急変しすぎるのを防ぐ役割を持つ。

7. 実験結果

7.1 ベンチマーク

評価にはEmbodiedBenchを用いる。

  • EB-ALFRED：AI2-THOR/ALFREDを基にした家庭内の高レベルタスク。SFTでは同系列の複数サブセットに触れ、RFTはBaseサブセットのみを使用する。
  • EB-Habitat：Habitat 2.0を基にした再配置タスク。SFT・RFTの両方に対して未知環境であり、より厳しい転移評価である。

7.2 タスク成功率

スクリーンショット 2026-10-26 7.35.30.png

  • EB-ALFREDではSFTに対して15.1ポイント改善し、最高の72.4%
  • EB-Habitatでは22.4%であり、Claude 3.5 Sonnetの70.4%を下回る

7.3 学習効率

スクリーンショット 2026-10-26 7.37.33.png

学習全体では約4倍の高速化を達成。

7.4 ablation study

スクリーンショット 2026-10-26 7.38.45.png

SFTを追加で継続してもEB-ALFREDの成功率は改善するが、EB-Habitatでは悪化する。一方、RFTを追加すると両環境で改善する。したがって、単に学習を長くしただけでなく、Rewardによる最適化が有効であったことが示唆される。

8. 制約と課題

  1. Expertの別解を正しく評価しにくい。 成功可能な別経路でも、Expertと異なれば低い報酬になる
  2. 物理的な実行可能性を直接学習しない。 衝突、把持可否、アーム到達可能性などは、Action Sequenceの文字列一致だけでは判定できない
  3. 未知環境への転移には限界がある。 EB-HabitatではRFTによる改善は見られるものの、より大型の汎用VLMとの差が残る
  4. 実機検証は本論文の主要な評価対象ではない。 EmbodiedBenchを通したシミュレーション上の高レベルタスク評価である
  5. 学習コストがゼロになるわけではない。 環境ロールアウトを省ける一方、VLMから複数候補を生成し、GRPOで学習する計算資源は必要となる

9. まとめ

  • ORBITは、高レベルのロボットTask Planningにおいて、SFTで基礎的な行動計画を学習し、Expertとの先頭一致を用いたOffline RewardでGRPOによる追加学習を行う手法である
  • 特徴は、実行環境との相互作用を学習時に必要としない一方、現在のモデルが生成した回答を評価するOn-policy最適化を保持する点にある。EB-ALFREDでは72.4%の成功率を達成し、比較したOnline RLより短時間で学習できた
  • ただし、Rewardは物理的な成功を直接表すわけではなく、異なる正解手順や未知環境には限界が残る。今後、Task Planning用のVLMを独自に再学習する際には、Expert一致Rewardに、論理制約・物理制約・目的達成判定をどう加えるかが、重要な研究課題になる
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?