TL;DR
- Skywork R1V3はマルチモーダル推論でSOTAを達成したVLM
- 「クリティカルトークンエントロピー」で本物の推論力を判別
- コネクターモジュールはRL安定化の鍵
- カリキュラム学習は分布シフトで失敗、混合難易度が有効
Skywork R1V3で学ぶ！マルチモーダル推論モデルの本質的進化
導入
Skywork R1V3は、MMMUベンチマークで76.0%というSOTAを達成した最新のオープンソースVLM（Vision-Language Model）です。本記事では、論文から特に実践的かつ本質的な3つの発見をピックアップし、数式・実装Tipsを交えて解説します。
1. クリティカルトークンエントロピー：本物の推論力を見抜く新指標
背景
多くのVLMは「推論しているように見える」出力を生成できますが、実際にはパターン模倣に過ぎない場合が多いです。本当に柔軟な推論力を持つモデルをどう見分けるかは、現場でも大きな課題です。
解決策：エントロピーで判別
Skywork R1V3では、推論開始トークン（例："Wait..."や"Alternatively..."）のエントロピーを指標としました。
- 本物の推論モデル：クリティカルトークンで高エントロピー（不確実性が高い）
- 模倣型モデル：低エントロピー（決定的な応答）
H(p) = -\sum_{i} p_i \log p_i
（$p_i$は各トークンの生成確率）
なぜ有効か
本物の推論は「複数の可能性を探索」するため、分岐点で迷い（高エントロピー）が生じます。一方、模倣型はスクリプト通りに進むため、エントロピーが低くなります。
実装Tips
- RL訓練中、クリティカルトークンのエントロピーをモニタリング
- エントロピーが高いチェックポイントを選ぶと、汎化性能も高い
2. コネクターモジュール：マルチモーダルRLの安定化の要
ポイント
VLMの多くはビジョンエンコーダやLLM本体に注目しがちですが、コネクターモジュール（画像特徴とテキスト特徴を橋渡しする層）がRL訓練の安定化に不可欠であることが明らかになりました。
実験結果
- コネクターを学習可能に：報酬カーブが安定、推論力も向上
- コネクターを凍結：訓練が即座に崩壊、出力が無意味な繰り返しに
なぜ重要か
コネクターは視覚と言語の表現を動的に整合させる役割を持ち、RL最適化中の勾配伝播の要です。凍結するとモダリティ間のアライメントが崩壊します。
実装Tips
- RL訓練時は必ずコネクターを学習可能に設定
- コネクター設計に工夫を凝らすと性能向上余地あり
3. カリキュラム学習の罠：分布シフトで汎化性能が低下
直感的アプローチの失敗
「簡単な問題→難しい問題」と段階的に学習させるカリキュラム学習は、従来有効とされてきました。しかし、Skywork R1V3では逆効果となりました。
実験内容
- ステージ1：通常レベルの問題で訓練
- ステージ2：難問（コンペレベル）に切り替え
結果
- 難問への適応は向上するが、通常問題の精度が大幅低下
- 論理・物理タスクの汎化も悪化
原因：分布シフト
難問で学んだ複雑なパターンが、簡単な問題の解法と競合し、汎化性能が損なわれたため。
実装Tips
- 混合難易度データで一貫して訓練する方が汎化に有利
- 難易度ごとにモデルを分けるのも一案
結論・今後の展望
Skywork R1V3の研究から得られる本質的な知見は以下の通り：
- 本物の推論力はエントロピーで見抜ける
- コネクターはマルチモーダルRLのボトルネック
- カリキュラム学習は分布シフトに注意、混合難易度が有効
今後は、推論力の新指標開発やコネクター設計の高度化、汎化と専門化のバランスを取る訓練戦略が重要です。
参考文献・クロスリンク
コメント歓迎
マルチモーダル推論やVLMの訓練で苦労した点・工夫した点など、ぜひコメントで共有してください！