平均正答率が同じ二つのモデルでも、中身はまるで違う。やさしい問題を確実に当てて難問を全部落とすモデルと、どの難易度もそこそこ取りこぼすモデルは、スコアボード上では区別がつかない。強化学習(RL)で推論モデルを鍛えるとき、私たちが最適化しているのはたいてい「平均」だ。その平均の裏に隠れた分布の形まで見にいこう、というのが8月3日にarXivへ出た Beyond the Mean: Multi-Moment Policy Optimization for LLM Reasoning(以下MMPO)の主張である。

GRPOは「失敗率の平均」しか下げていない

まず前提を1文で。DeepSeek由来の GRPO は、いま推論モデルのRL学習で最も広く使われている手法で、1つの問題に対して複数回答(グループ)を生成し、グループ内での相対的な良し悪しで方策を更新する。その優位性(アドバンテージ)はこう計算される。

Â_i = (R_i − μ_G) / σ_G

各回答の報酬 R_i をグループ平均 μ_G で中心化し、標準偏差 σ_G で割る。この設計が最終的に最大化しているのは、突き詰めれば期待報酬 E[R(τ)]、つまり全問題をならしたときの平均正答(裏を返せば平均失敗率)だ。

ここに落とし穴がある。問題ごとの失敗率を1つの確率変数として見たとき、平均だけを見る最適化は分散も裾も無視する。GRPOは「あと一押しで解ける問題」を優先して伸ばしやすく、そもそも成功率がゼロに近い難問は勾配がほとんど立たないため放置されがちになる。GRPOの派生手法の多くが同じ0/0問題(グループ内の報酬が全部同じだと分子も分母も消える)に悩まされてきたのも、この「平均しか見ていない」構造の副作用と言える。

失敗率を分布として捉え、モーメントを足し合わせる

MMPOの出発点はシンプルだ。問題 x を1回サンプリングしたときの失敗確率を f(x) = 1 − s(x)(sは1回の成功確率)と定義し、これを問題全体にわたる確率変数 F とみなす。その k 次モーメントが μ_k = E[F^k] になる。

GRPOが最小化しているのは実質1次モーメント E[F] だけ。対してMMPOは、1次から T 次までのモーメントを足し合わせて同時に最小化する。

J_T(θ) = Σ_{i=1}^{T} E[F^i]     # 論文の式より

面白いのはこの目的関数に素直な運用上の意味がつくところだ。ある問題で1回成功するまでのロールアウト試行回数を T+1 で打ち切ったときの期待値が、ちょうど Σ_{i=0}^{T} f(x)^i になる。つまりMMPOは「予算 T+1 回のサンプリングの中で最初の正解にたどり着くまでの期待手数」を最小化している。pass@k やテスト時サンプリングを日常的に回すエンジニアには、この目的の立て方はかなり腑に落ちるはずだ。1発で当てる能力だけでなく、限られた試行の中で当てる能力を直接鍛えにいっている。

なぜ難問にも効くのか

高次モーメントを入れると何が変わるのか。論文はSchur凸性を使い、MMPOが「問題間で失敗率をより均す方向」への明示的な選好を持つことを示している。平均だけを下げる最適化は解きやすい問題への一点集中を許すが、モーメントの和は失敗率が高いところにより強い圧力をかける。

これは学習信号の重み付けとして表現できる。問題 x に掛かる重みは失敗率の関数になり、T=4 なら次のように展開される。

# 各問題の経験的失敗率 f から重みを組み立てる(論文の w = Σ k·f^(k-1))
def problem_weight(f, T=4):
    return sum(k * f**(k - 1) for k in range(1, T + 1))

problem_weight(0.1)   # ≈ 1.23  やさしい問題は控えめ
problem_weight(0.9)   # ≈ 8.15  難問ほど強く引き上げる

失敗率が高い問題ほど重みが跳ね上がる。GRPOがほぼ無視していた領域に、勾配を戻してやるイメージだ。ここは既存のGRPOパイプラインに対して、アドバンテージへ問題単位の係数を1つ掛けるだけの変更で乗る。新しい損失関数を1から実装し直す必要がないのは実務的にありがたい。

数字はどうか、そして誰が使えるか

検証はQwen3-1.7B-BaseとQwen3-4B-Baseを、MATH-500・OlymMATH・AMC23・AIME24・AIME25の5つの数学ベンチで評価している。4Bモデルの平均が分かりやすい。

手法	5ベンチ平均
GRPO	45.0%
Pass@K 学習	45.9%
MMPO	47.6%

GRPO比で+2.6ポイント。学習設定はグループサイズ G=8、バッチ B=16 問、PPOクリップ ε=0.2、学習率 1e-6、モーメントの打ち切り次数は T=4(それ以上はモーメント推定のノイズが増えて逆効果、とアブレーションで報告)。各モーメントの係数は一律1で、より一般化した「モーメント変換」の枠組み(Beta(λ,1) で変数変換する)を使うと、Pass@K系や既存のMaxRLといった手法もこの1つの視点で説明できるとしている。

正直に見積もると、+2.6ポイントは劇的な飛躍ではない。対象も数学推論に絞られ、モデルも1.7B/4Bと小さめだ。ただ、追加コストがほぼゼロの再重み付けでこの差が出て、しかも「平均だけ見る」という現行RLの構造的な弱点に名前と定式化を与えた点は効く。強化学習で推論モデルを回している人にとって、次に自分のGRPO実装へ問題単位の重みを一行足して試す価値は十分ある。逆に「平均正答率が上がった」という報告を見るときは、その裏で難問がどう扱われたのかを一度疑ってみるべきだ、という視点も持ち帰れる。

一次ソースは以下の2本。MMPO本体と、GRPOを期待報酬の最適化から導く解説論文で事実を突き合わせた。

※本記事は一次情報の調査をAIが行い、事実確認のうえ執筆・公開しています。