カリキュラム学習の成功と失敗: GLM-4.1VとSkywork-R1V3の比較分析
TL;DR
- GLM-4.1Vは動的サンプリングによるカリキュラム学習で28ベンチマークで一貫した性能向上を達成
- Skywork-R1V3は段階的カリキュラム学習で分布シフトによる性能低下を経験
- 成功の鍵は連続的適応サンプリングvs段階的データ切り替えの違い
- マルチドメイン学習と動的難易度評価が汎化性能を大幅に改善
- 強化学習における勾配最適化の技術的課題を解決する実装手法を提示
はじめに
視覚言語モデル (VLM) の推論能力向上において、カリキュラム学習 (curriculum learning) は重要な技術の一つとして注目されている。しかし、最近の研究では同じカリキュラム学習でも実装方法によって正反対の結果が得られることが明らかになった。
本記事では、GLM-4.1V-ThinkingとSkywork-R1V3という2つの最先端VLMにおけるカリキュラム学習の実装を詳細に比較し、なぜ一方が成功し他方が失敗したのかを技術的に分析する。
Skywork-R1V3: 段階的カリキュラム学習の失敗例
実装アプローチ
Skywork-R1V3は伝統的な段階的カリキュラム学習を採用した：
# 擬似コード: Skywork-R1V3のアプローチ
def skywork_curriculum():
# Stage 1: 通常問題（K12レベル数学）
model = train_on_normal_problems(model, normal_dataset)
# Stage 2: 困難問題（競技レベル）に完全切り替え
model = train_on_hard_problems(model, hard_dataset)
return model
特徴:
- 段階的フェーズ: 2つの明確な訓練段階
- ハードデータ切り替え: 段階間でデータセットを完全に置換
- 単一ドメイン: 主に数学的推論に焦点
結果と問題点
実験結果は期待に反するものだった：
- ❌ 分布シフト: 困難問題への切り替え後、通常問題の性能が大幅に低下
- ❌ 汎化性能の破綻: 論理学や物理学タスクで性能が停滞または変動
- ❌ 戦略の競合: 複雑な推論パターンが単純なアプローチと干渉
論文では分布シフトが主要因として特定されている：
"困難問題で学習した複雑なスキルや特殊パターンは、高難易度タスクには有効だが、中程度の問題で依存する核心的推論パスと競合する可能性がある"
GLM-4.1V: RLCS（強化学習カリキュラムサンプリング）の成功例
革新的な実装アプローチ
GLM-4.1Vは**Reinforcement Learning with Curriculum Sampling (RLCS)**という新しい手法を開発した：
# 擬似コード: GLM-4.1VのRLCSアプローチ
def rlcs_curriculum():
while training:
# 動的難易度評価
difficulty_scores = assess_difficulty(samples, model_state)
# 最適チャレンジレベルの特定
optimal_samples = select_sweet_spot(difficulty_scores)
# 拡張比率の計算
expansion_ratio = 1 / (1 - not_valid_sample_rate)
expansion_ratio_ema = update_ema(expansion_ratio)
# 動的サンプリング
batch = dynamic_sampling(optimal_samples, expansion_ratio_ema)
# マルチドメイン学習
model = train_step(model, batch)
核心技術要素
1. 二重難易度評価システム
- オフライン評価: 事前訓練での評価結果
- オンライン評価: 訓練中のリアルタイム難易度判定
2. 動的重み付け
expansion\_ratio = \frac{1}{1 - not\_valid\_sample\_rate}
3. スイートスポット戦略
- 簡単すぎる例をダウンサンプリング
- 困難すぎる例をダウンサンプリング
- 最適学習レベルの例をブースト
効率性の証拠
GLMアプローチの効果は数値で実証されている：
- 200訓練ステップ後: 全プロンプトの50%以上が90%以上の精度を達成
- 28ベンチマーク: 一貫した性能向上を実現
成功と失敗を分ける決定的な違い
1. 時間的戦略
| 手法 | アプローチ | 結果 |
|---|---|---|
| Skywork | 段階的移行（ハード切り替え） | 分布シフト |
| GLM | 連続的適応サンプリング | 分布継続性 |
2. データ分布管理
Skywork: 完全なデータセット置換 → 分布シフト発生
GLM: 段階的重み付け → 分布継続性維持
3. 難易度評価
# Skywork: 静的カテゴリ
difficulty_categories = ["Normal", "Hard"]
# GLM: 動的評価
difficulty_score = offline_assessment + online_assessment
dynamic_weights = calculate_optimal_sampling(difficulty_score)
4. ドメイン範囲
Skywork: 単一ドメイン（数学）→ 干渉効果増大
GLM: マルチドメイン → 自然な正則化効果
5. 技術的堅牢性
GLMは**GRPO（Group Reward Policy Optimization）**の根本的問題を解決：
# 問題: 全正解/全不正解バッチは有用な勾配を提供しない
if all_correct_or_all_incorrect_batch:
gradient_signal = 0 # 学習効果なし
# GLMの解決策: 動的拡張
expanded_batch = oversample_with_expansion_ratio(batch)
balanced_batch = select_balanced_subset(expanded_batch)
GLMアプローチが優れている理由
1. 分布シフトの回避
データセット切り替えではなく連続的重み付けにより、チャレンジレベルを段階的に増加させながら分布継続性を維持。
2. クロスドメイン正則化の活用
マルチドメイン学習により、単純なアプローチと競合する特定の推論パターンへの過学習を防止。
3. 最適チャレンジターゲティング
「スイートスポット」原理により、モデルが最大学習効果を得られる適切な難易度レベルの問題に常に取り組む。
4. オンライン適応
リアルタイム難易度評価により、モデルの進化する能力に応答し、急速な飽和問題を防止。
実装のベストプラクティス
カリキュラム学習設計原則
- 連続的 > 段階的: 段階的移行よりも段階的遷移が効果的
- 適応的 > 静的: 動的難易度評価が固定カテゴリを上回る
- マルチドメイン > 単一ドメイン: 多様な訓練が自然な正則化を提供
- オンライン > オフライン: リアルタイム適応が最適チャレンジ選択に重要
- 二重評価: オフラインとオンライン難易度評価の組み合わせ
強化学習での技術的洞察
# 拡張比率EMAによる訓練安定性確保
def update_expansion_ratio_ema(current_ratio, ema_ratio, alpha=0.1):
return alpha * current_ratio + (1 - alpha) * ema_ratio
# マルチドメインミキシングによる自然な正則化
def multi_domain_mixing(domains, sampling_ratios):
mixed_batch = []
for domain, ratio in zip(domains, sampling_ratios):
samples = sample_from_domain(domain, ratio)
mixed_batch.extend(samples)
return mixed_batch
結論
この分析により、カリキュラム学習自体が問題なのではなく、実装戦略が重要であることが明らかになった。GLMの成功は、適切に実装されたカリキュラム学習がマルチモーダル推論開発において強力なツールとなることを示している。
重要な技術的発見：
- 動的サンプリングが段階的訓練ステージより効果的
- 勾配フロー問題の解決が政策最適化の鍵
- マルチドメイン学習が汎化性能を大幅に改善
これらの知見は、今後のVLM開発において、より効果的なカリキュラム学習システムの設計指針となるだろう。
参考文献
- GLM-4.1V-Thinking Technical Report
- Skywork-R1V3 Technical Report
質問やコメントがあれば、お気軽にお聞かせください！このような技術比較分析が皆様の研究や開発に役立てば幸いです。