WorldSense: 現実世界のオムニモーダル理解を評価するマルチモーダルLLMベンチマーク

今回は、最新の研究成果である「WorldSense: Evaluating Real-world Omnimodal Understanding for Multimodal LLMs」という論文をご紹介します。本研究は、マルチモーダル大規模言語モデル（MLLMs）が視覚・音声情報を統合して処理し、現実世界の状況をどの程度正確に理解できるかを評価するための新しいベンチマーク「WorldSense」を提案しています。従来の評価方法では測定が難しかった視覚と音声の相互作用に焦点を当てることで、AIの限界と今後の発展方向を明確にすることを目的としています。

論文情報

タイトル: WorldSense: Evaluating Real-world Omnimodal Understanding for Multimodal LLMs
リンク: WorldSense公式ページ
発表日: 2025年2月6日
著者: Jack Hong, Shilin Yan, Jiayin Cai, Xiaolong Jiang, Yao Hu, Weidi Xie
所属: Xiaohongshu Inc., Shanghai Jiao Tong University
DOI: なし（arXivプレプリント）

背景と目的

オムニモーダル理解とは？

人間は、視覚、聴覚、触覚といった複数の感覚を統合して世界を理解し、状況に応じた適切な判断を下します。例えば、運転中には道路標識や信号（視覚）、クラクションやサイレン（聴覚）、ハンドルのフィードバック（触覚）を統合して処理することで、安全に車を操作できます。こうした複数の情報源を組み合わせて意思決定を行う能力を「オムニモーダル理解」と呼びます。

従来のMLLMsの課題

これまでのマルチモーダルAIは 画像と言語の統合 に重点を置いており、音声情報の処理には限界がありました。例えば、従来のベンチマークでは、画像キャプション生成や簡単なQAタスクに偏っており、音声と視覚の相互作用を考慮した包括的な評価 はほとんど行われていませんでした。

WorldSenseの目的

本研究では、AIの現実世界理解を評価するための 新しいベンチマーク「WorldSense」 を開発し、既存のMLLMsの課題を明らかにするとともに、今後の研究の方向性を示すことを目的としています。

研究の特徴

WorldSenseは、従来のベンチマークにはない次の3つの重要な特徴を備えています。

1. オムニモーダルの協調理解（Collaboration of Omni-Modality）

視覚情報と音声情報を統合することが必須のタスクを設計
片方の情報のみでは正解できないようにし、統合的な理解能力を厳密に評価

2. 多様な動画とタスク（Diversity of Videos and Tasks）

1,662本 のオーディオビジュアル同期動画を使用
8つの主要カテゴリ と 67のサブカテゴリ をカバーし、現実世界の多様なシナリオを再現
3,172の多肢選択QAタスク により、基礎的な認識から高度な推論まで幅広く評価

3. 高品質なアノテーション（High-Quality Annotations）

80名の専門アノテーター による手動QA作成
複数回の修正・検証プロセスを経て 厳格な品質管理を実施

これらの特徴により、WorldSenseはAIの実環境における理解力を多角的に評価できる 画期的なベンチマークとなります。

実験の概要と結果

実験設定

WorldSenseでは、以下の3種類のMLLMsを評価対象としました。

オープンソースのビデオ・オーディオMLLMs
- Unified-IO-2, OneLLM, VideoLLaMA2 など
オープンソースのビデオMLLMs
- Video-LLaVA, Qwen2-VL, LLaVA-OneVision, InternVL2.5, LLaVA-Video など
商用MLLMs
- Claude 3.5 Sonnet, GPT-4o, Gemini 1.5 Pro

主な結果

モデル	平均正解率
オープンソースビデオ・オーディオ MLLMs	約25%（ランダム推測レベル）
オープンソースビデオ MLLMs	最大40.2%
商用 MLLMs（Gemini 1.5 Pro）	最高48.0%

視覚情報のみのモデル は最大40.2%の正解率を達成しましたが、音声情報の統合ができないため限界がありました。
ビデオ・オーディオ統合モデル は 期待ほどの性能を発揮せず、約25%の正解率 でランダム推測とほぼ同等の結果となりました。
最も高い正解率を記録したのはGemini 1.5 Pro（48.0%）でしたが、それでも実用レベルには達していません。

賛否両論

賛成意見

✅ 包括的な評価基準: 視覚と音声の統合的理解を厳密に測定可能
✅ 高品質なデータセット: 多様な動画とQAタスクによる精密な分析
✅ 実世界のシナリオに適応: 現実的な状況を想定した設計

反対意見

⚠️ MLLMsの性能不足: 商用モデルでも48.0%の正解率にとどまり、実用にはまだ遠い
⚠️ 音声処理能力の限界: イントネーションや環境音の理解が難しく、単なるテキスト変換に依存しがち
⚠️ タスクの難易度が高い: 現在のAIには まだ難しすぎる問題 が含まれている可能性

まとめと今後の展望

本研究では、マルチモーダルLLMsの現実世界における理解能力を評価するための 新しいベンチマーク「WorldSense」 を提案しました。
従来のベンチマークと比較して、視覚と音声の統合的理解能力を より厳密に測定可能 であり、現行モデルの限界を浮き彫りにしました。

今後の研究では、以下の点が重要になります。

音声と映像の統合を高度に行うMLLMsの開発
イントネーションや環境音の情報を活用できる音声処理の強化
実世界のシナリオに適応できるモデルの設計

WorldSenseは、今後のMLLMs研究の発展に向けた 重要な基盤となるベンチマーク となるでしょう。
この記事が皆さんの研究や実務に役立つことを願っています。ご質問やフィードバックがありましたら、コメント欄にお寄せください。