"OpenMMReasoner: Pushing the Frontiers for Multimodal Reasoning with an Open and General Recipe" という論文の紹介です。
本研究では、視覚と言語を同時に扱うマルチモーダルモデルに対して、強い推論能力を付与するためのオープンかつ再現可能な訓練レシピを提案しています。
はじめに
近年、言語モデルでは強化学習（RL）を用いた訓練によって推論能力が大きく向上してきました。
一方で、画像とテキストを扱うマルチモーダルモデルでは、訓練データや手順がブラックボックス化しやすく、再現や拡張が難しいという課題が残っていました。
本論文は、この問題を「モデル設計」ではなく、訓練レシピの整理と公開によって解決しようとしています。
OpenMMReasoner の全体像
OpenMMReasoner は、マルチモーダル推論モデルを育てるための 2段階訓練フレームワークです。
-
Supervised Fine-Tuning（SFT）
高品質データによって、基礎的な推論能力を獲得させる -
Reinforcement Learning（RL）
強化学習によって、推論の正確性と安定性をさらに高める
段階的に能力を積み上げる、オーソドックスだが丁寧な設計になっています。
SFT：推論の土台を作る
データ設計
SFT では、約 87 万件の高品質データが用意されています。
特徴的なのは、step-by-step の推論過程が明示されたデータを重視している点です。
また、単一の回答パターンに偏らないよう、複数の教師モデルを用いて 回答の多様性も確保しています。
これにより、モデルが特定の言い回しや解法に過度に依存するのを防いでいます。
RL：推論能力をさらに磨く
RL フェーズでは、約 7.4 万件の高品質データを用いて学習を行います。
GSPO、GRPO、DAPO など複数の RL 手法を比較し、性能と学習安定性のバランスが良い構成を採用しています。
SFT で作った土台の上に、RL で精度を積み上げる構成です。
この訓練手法の価値
OpenMMReasoner の重要なポイントは次の3点です。
1. 再現性を重視した設計
データ構築手法、訓練手順、コードが公開されており、
誰でも同じ条件で追試できる構成になっています。
2. データの「量」ではなく「質と多様性」
単純にデータを増やすのではなく、
推論に効く回答パターンの多様性を重視している点が特徴です。
3. 実践的な2段階訓練
SFT と RL を分離して設計することで、
基礎能力・推論精度・学習安定性を同時に満たしています。
実験結果
9種類のマルチモーダル推論ベンチマークにおいて、
Qwen2.5-VL-7B-Instruct をベースラインとして 約 11.6% の性能向上を確認しています。
訓練レシピ自体が性能改善に直結していることが示されています。
まとめ
OpenMMReasoner は、
- マルチモーダル推論に特化した訓練設計
- 高品質な SFT データと RL データの構築
- 再現可能なオープンなレシピ
を揃えた研究です。