AIは“画像と言葉”をどう同時に理解するのか？最新研究が示す「融合型モデル」の最適解とは
今回は、最新の研究成果「Scaling Laws for Native Multimodal Models」をご紹介します。本論文は、画像とテキストを同時に扱う「ネイティブマルチモーダルモデル（NMM）」におけるスケーリング法則を、大規模な実験群（457モデル）を通じて体系化したものです。
これにより、従来のLate-fusion型とEarly-fusion型の本質的な差異、スパース構造の有効性、訓練効率、デプロイ最適性が明らかになりました。
論文情報
- タイトル: Scaling Laws for Native Multimodal Models
- リンク: https://arxiv.org/abs/2504.07951
- 発表日: 2025年4月10日
- 著者: Mustafa Shukor, Enrico Fini, Victor G. Turrisi da Costa, Matthieu Cord, Joshua Susskind, Alaaeldin El-Nouby
- DOI: arXiv:2504.07951
背景と目的
従来のマルチモーダル学習では、CLIPのような画像エンコーダとLLaMAなどの言語モデルを後段で融合するLate-fusion方式が主流でした。これは構成が柔軟な反面、以下の課題が残ります：
- 各モダリティの処理が分離されており、相互依存性を学習できない
- 複数モデルのハイパーパラメータ・スケーリング特性が非統一
- 推論時に計算資源を多く消費
これらに対し、Early-fusion型NMMは、すべてのモダリティ入力をTransformerに統合して一貫的に処理することで、シンプルかつ効率的な設計を可能にします。本研究は、これらNMMのスケーリング限界と最適条件を実証的に明らかにします。
研究の焦点と貢献
- ✅ Early-fusionとLate-fusionの性能・効率のスケーリング比較
- ✅ ネイティブ学習におけるパラメータ数$N$・トークン数$D$・FLOPs$C$との関係性
- ✅ スパースMoE構造による性能強化とモダリティ専門化の可視化
- ✅ スケーリング法則の外挿精度と汎化能力の定量評価
実験設定
- モデル構成：24層Transformer（Early/Late共通）、幅は275M〜3.7B
- Vision patch：14×14、画像サイズ224×224、text context長1k
- オプティマイザ：AdamW（β₁=0.9, β₂=0.95, wd=1e-4）
- Mixed Precision：bfloat16、Fully Sharded Data Parallel (FSDP)
- データ：Obelics（interleaved）、DFN・COYO（caption）、DCLM（text）
学習スケジュール：
- warm-up: 1k〜5kステップ、cooldown: 20%、Inverse √ decay
スケーリング法則と計算理論
1. 基本関係式
$$
L = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta}, \quad C = 6ND
$$
| パラメータ | Early-fusion平均値 |
|---|---|
| $\alpha$ | 0.301 ± 0.10 |
| $\beta$ | 0.335 ± 0.03 |
| $a$（$N \propto C^a$） | 0.526 |
| $b$（$D \propto C^b$） | 0.473 |
- → LLM（Chinchilla）: $\alpha=0.339, \beta=0.285$ と類似
- → $a > b$ より、NMMはLLMよりも大きめのモデルサイズが最適
2. 精度予測能力
- 8Bモデルに対して外挿した場合：
- MSE: 0.0004（held-out）
- R²: 0.968
- → 実データと予測値が高い一致度（Fig. 7参照）
Early vs Late-fusion 比較
計算効率と学習コスト
| 指標 | Early-fusion | Late-fusion |
|---|---|---|
| パラメータ効率（N） | ◯（少） | △（多） |
| トークン効率（D） | ◯（効果大） | △ |
| GPUメモリ使用量 | ◯（少ない） | ✕ |
| 学習時間（同FLOPs） | ◯（短縮） | △ |
図5より、Early-fusionは16xH100でのトレーニングにおいて、最大20%の時間削減・25%のメモリ節約が可能。
MoEによるスパース構造の有効性
- 構成：Top-1ルーティング（k=1）、E=8 experts、dropless-MoE
- 学習効率：同じ活性パラメータ数で、Denseモデルを上回る性能（Fig. 9）
スケーリング法則（Sparse）
$$
L = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta} + \frac{C}{(1-S)^\lambda}
$$
- $\alpha$ = 0.710 → パラメータ依存度が大幅上昇
- スパース性$S$の導入により、$N$より$D$を重視すべき傾向
モダリティ専門化の可視化
- Fig.13に示されるように、early層とlate層で画像/テキストに特化したエキスパートが自然に形成
- Entropyベースの専門化スコアは、中間層で一時的に減少し、最終層で再上昇（Fig.12）
→ 層による専門化と共有の動的なバランスが観察される
Downstreamタスクでの検証
| モデル | VQA | TextVQA | OKVQA | COCO CIDEr |
|---|---|---|---|---|
| Late | 69.4 | 25.8 | 50.1 | 70.7 |
| Early | 69.3 | 28.1 | 52.1 | 72.0 |
| Early + MoE | 69.8 | 30.0 | 52.1 | 69.6 |
→ Early-fusion単体でもLateを凌駕し、MoE構成でさらに+2〜4%向上。
考察・限界と今後の展望
制限事項
- Early-fusionは高解像度画像処理に不利（トークン爆発）
- MoE構成は専門化のバランス調整が必要
- LLM初期化に比べて学習安定性には工夫が必要
展望
- Patch poolingの導入によるEarly-fusionの高解像度対応
- MoEのk>1、dynamic routingへの拡張
- **Parameter-efficient tuning（LoRA + MoE）**の融合
- Multimodalでの長文コンテキスト学習（>4K）への挑戦
賛否両論
賛成意見
- モデル構成が単純・効率的で、展開コストが低い
- スケーリング法則を使えば、学習設計が明確に予測可能
- Sparse構造により、性能向上と専門化が自然発生
反対意見
- Early-fusionは高解像度処理や長コンテキストに課題
- MoE設計には依然としてハイパーパラメータ調整が必要
この記事が、皆さんの研究開発や設計判断の一助となれば幸いです。ご質問やディスカッションがあれば、ぜひコメントでお知らせください。