AIは“画像と言葉”をどう同時に理解するのか？最新研究が示す「融合型モデル」の最適解とは

今回は、最新の研究成果「Scaling Laws for Native Multimodal Models」をご紹介します。本論文は、画像とテキストを同時に扱う「ネイティブマルチモーダルモデル（NMM）」におけるスケーリング法則を、大規模な実験群（457モデル）を通じて体系化したものです。

これにより、従来のLate-fusion型とEarly-fusion型の本質的な差異、スパース構造の有効性、訓練効率、デプロイ最適性が明らかになりました。

タイトル: Scaling Laws for Native Multimodal Models
リンク: https://arxiv.org/abs/2504.07951
発表日: 2025年4月10日
著者: Mustafa Shukor, Enrico Fini, Victor G. Turrisi da Costa, Matthieu Cord, Joshua Susskind, Alaaeldin El-Nouby
DOI: arXiv:2504.07951

背景と目的

従来のマルチモーダル学習では、CLIPのような画像エンコーダとLLaMAなどの言語モデルを後段で融合するLate-fusion方式が主流でした。これは構成が柔軟な反面、以下の課題が残ります：

これらに対し、Early-fusion型NMMは、すべてのモダリティ入力をTransformerに統合して一貫的に処理することで、シンプルかつ効率的な設計を可能にします。本研究は、これらNMMのスケーリング限界と最適条件を実証的に明らかにします。

学習スケジュール：

$$
L = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta}, \quad C = 6ND
$$

8Bモデルに対して外挿した場合：
- MSE: 0.0004（held-out）
- R²: 0.968
- → 実データと予測値が高い一致度（Fig. 7参照）

図5より、Early-fusionは16xH100でのトレーニングにおいて、最大20%の時間削減・25%のメモリ節約が可能。

$$
L = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta} + \frac{C}{(1-S)^\lambda}
$$

→ 層による専門化と共有の動的なバランスが観察される

モデル	VQA	TextVQA	OKVQA	COCO CIDEr
Late	69.4	25.8	50.1	70.7
Early	69.3	28.1	52.1	72.0
Early + MoE	69.8	30.0	52.1	69.6

→ Early-fusion単体でもLateを凌駕し、MoE構成でさらに+2〜4%向上。

賛成意見

反対意見

この記事が、皆さんの研究開発や設計判断の一助となれば幸いです。ご質問やディスカッションがあれば、ぜひコメントでお知らせください。