VideoITG: Multimodal Video Understanding with Instructed Temporal
Grounding
論文情報
- 著者: Shihao Wang, Guo Chen, De-an Huang, Zhiqi Li, Minghan Li, Guilin Li, Jose M. Alvarez, Lei Zhang, Zhiding Yu
- arXiv ID: 2507.13353v1
- PDF: Link
要約
VideoITGは、ユーザーの指示に基づいて動画フレームを効果的に選択する新しい手法である。従来の教師なし学習アプローチとは異なり、VidThinkerという自動アノテーションフレームワークを通じて人間のアノテーション過程を模倣し、指示に合致した時間的グラウンディング（temporal grounding）を実現する。このアプローチにより、長い動画の理解において複雑なシナリオに対応でき、Video Large Language Models（Video-LLMs）の性能を大幅に向上させることができる。
主要なポイント
- VidThinkerパイプライン: 指示条件付きでクリップレベルの詳細キャプションを生成し、指示誘導推論を通じて関連動画セグメントを検索、最終的に最も情報量の多い視覚的証拠を特定する自動アノテーションフレームワーク
- VideoITG-40Kデータセット: 40,000本の動画と500,000件の指示付き時間的グラウンディングアノテーションを含む大規模データセットの構築
- プラグアンドプレイ対応: Video-LLMsの視覚言語アライメントと推論能力を活用し、識別的な方法で効果的なフレーム選択を行うモデル設計
意義・影響
この研究は、動画理解における情報量の多いフレーム選択という根本的な問題に対して、指示ベースの新しいアプローチを提案している。複数のマルチモーダル動画理解ベンチマークで一貫した性能向上を達成しており、長時間動画の理解や実用的な動画AI応用の発展に大きく貢献する可能性がある。
#1
参考リンク
この記事は自動生成されました。論文の詳細については、元の論文をご確認ください。