R2-T2: Re-Routing in Test-Time for Multimodal Mixture-of-Experts

今回は、最新の研究成果である 「R2-T2: Re-Routing in Test-Time for Multimodal Mixture-of-Experts」 という論文をご紹介します。本研究は、大規模マルチモーダルモデル（LMMs）において、専門家モデル（Mixture-of-Experts, MoE）の 推論時の専門家選択を最適化 し、計算コストを抑えつつ性能を向上させる手法 「R2-T2」 を提案しました。従来のMoEにおける固定的なルーティングの限界を克服し、7Bモデルが13B/34Bモデルを上回る精度 を達成しています。

論文情報

タイトル: R2-T2: Re-Routing in Test-Time for Multimodal Mixture-of-Experts
リンク: GitHub Repository
発表日: 2025年2月27日
著者: Zhongyang Li (Johns Hopkins University), Ziyue Li, Tianyi Zhou (University of Maryland, College Park)
DOI: arXiv:2502.20395v1

背景と目的

マルチモーダルモデルの課題

近年、視覚・言語を統合する ビジョン・ランゲージモデル（VLM） が広く用いられていますが、以下の課題があります。

モダリティ間の不均衡（Modality Imbalance）
- LLMは強力な推論能力を持つが、視覚モダリティの理解能力は劣る。
- 画像情報を適切に活用できず、タスクのパフォーマンスが制約される。
従来のMoEの限界
- MoEは複数の専門家（エンコーダ）を用いるが、訓練時のルータによる固定的な選択が問題。
- タスクごとに最適な専門家を動的に選択できない ため、未知のタスクへの適応力が低い。
再学習のコスト
- ルータの再学習には大規模なデータと計算資源が必要であり、実運用では困難。

本研究の目的

本研究では、推論時にルーティングを最適化する「R2-T2（Re-Routing in Test-Time）」 を開発し、以下のメリットを実現しました。

既存のモデルに追加学習なしで適用可能
専門家選択の最適化により、7Bモデルが13B/34Bモデルを超える性能を達成
計算コストを抑えつつ、MoEの専門家選択を適応的に改善

研究の焦点

1️ 推論時のルーティング最適化

従来のMoEでは 固定的なルーティング によって専門家を選択していましたが、本研究では 推論時に最適な専門家選択を行う ことで、モデルの柔軟性を向上させました。

2️ R2-T2の3つの最適化戦略

本研究では 3種類のルーティング最適化手法 を提案し、異なるアプローチでMoEの性能を引き出します。

手法	概要
Neighborhood Gradient Descent（NGD）	近傍の正解サンプルを基に勾配降下を行い、ルーティング重みを調整。
Kernel Regression	近傍サンプルのルーティング重みをカーネル回帰で平均化し、元のルーティング重みとのバランスを最適化。
Mode Finding	ルーティング重み空間において、最も密度が高い領域に向けて最適化。

3️ 大規模ベンチマークでの評価

MoAI-7B, MoVA-7B の2つのMoEモデルを用いて 8つのベンチマーク で検証。
R2-T2の適用により、13B/34Bモデルと同等以上の性能を達成！

実験の概要と結果

1️ モデルとデータセット

使用モデル

MoAI-7B: 視覚と言語を統合するMoEモデル（6専門家構成）
MoVA-7B: マルチモーダルMoEモデル（7専門家構成）

評価タスク

タスクカテゴリ	評価ベンチマーク
一般的な視覚理解	VQA-V2, Visual7W, CLEVR, COCO-QA
知識ベース推論	A-OKVQA, TQA, MathVista
OCR	ST-VQA, DocVQA

2️ R2-T2の効果

モデル	MMBench	MME-P	SQA-IMG	AI2D	TextVQA	GQA	CVBench2D	CVBench3D	PhysBench
MoAI-7B	79.3	1714	83.5	78.6	67.8	70.2	71.2	59.3	39.1
R2-T2 (MoAI-7B)	85.2	1785.5	88.3	85.0	73.5	77.0	77.9	69.2	44.7

MoAI-7Bでは +6.9%（MMBench）、+66.1（MME-P）、+6.8%（TextVQA）の精度向上。
MoVA-7Bでは +5.9%（MMBench）、+71.5（MME-P）、+5.7%（TextVQA）の精度向上。
PhysBench（物理推論タスク）では、34Bモデルと競争可能な精度を達成。

賛否両論

メリット

追加学習なしで適用可能 で、既存のMoEモデルの性能を向上。
専門家の選択を適応的に最適化 し、未知タスクへの汎化能力が向上。
計算コストを抑えつつ大規模モデルと同等の精度を達成。

デメリット

追加の計算コストが発生 するため、推論時間が若干増加。
事前に適切な参照データセットの準備が必要 であり、モデルに最適な参照サンプルの選択が課題。

まとめ

本研究では、マルチモーダルMixture-of-Experts（MoE）における専門家選択の最適化手法「R2-T2」 を提案し、大規模ベンチマークでの検証を行いました。

ポイント

推論時の動的ルーティング最適化により、7Bモデルが13B/34Bモデルを超える性能を発揮！
計算コストを抑えつつ、より適応的なルーティングを実現。
MoEの専門家選択を改善し、マルチモーダル推論の可能性を拡張。

大規模マルチモーダルモデルの性能向上に貢献する革新的手法として注目！

この記事が皆さんの研究や実務に役立つことを願っています。ご質問やフィードバックがありましたら、コメント欄にお寄せください。