AI 検索や RAG の進化に伴い、検索対象はテキストから画像、音声、動画などへと拡大しています。

例えば、次のようなユースケースです。

商品画像と説明文をまとめて検索する
PDF内の図表やレイアウトを保ったままRAGで扱う
医療画像と診療メモを横断し、類似するケースを探す
動画から、特定の場面や物体が映っている箇所を探す
音声、画像、テキスト、メタデータを組み合わせて検索する
AIエージェントが利用するナレッジベースを、テキスト以外の情報にも広げる

テキスト検索は、引き続き重要です。一方、写真をクエリにして商品を探したり、動画から特定の場面を見つけたり、医療画像と診療メモを横断して関連情報を取得したりする場合、キーワードだけでは内容や類似性を表現しにくいことがあります。

そこで有効になるのが、データをEmbeddingに変換して検索するマルチモーダル検索です。

Zilliz Cloudは、画像、テキスト、音声、動画などのEmbeddingを、1つのベクトルデータベースで管理・検索するための基盤です。Milvusの複数のベクトルフィールドやハイブリッド検索を利用することで、多様なデータのベクトル検索に、キーワード検索やメタデータフィルタを組み合わせられます。Zilliz Cloud は、オープンソースのベクトルデータベース Milvus をベースにしたマネージドサービスです。これにより、ユーザーはインフラの管理に悩むことなく、マルチモーダル検索を実現できます。

本記事では、Zilliz／Milvusの公開ドキュメントやブログをもとに、マルチモーダル検索を支える基盤について、全体像を中心に整理します。

検索対象はテキストから画像・表・音声・動画へ

一般的なRAGでは、PDFやWebページからテキストを抽出し、チャンクに分割してEmbeddingへ変換します。その後、ベクトル検索によって関連するチャンクを取得します。

この方法は、社内文書、FAQ、マニュアル、ナレッジベース、コード、ログなどの検索に有効です。一方、実際の業務データには、次のようなテキスト以外の情報も含まれています。

PDFのレイアウト
表やグラフ
スキャン文書
商品画像
医療画像
図面
動画フレーム
音声特徴量
JSONやカテゴリなどのメタデータ

これらをテキストへ変換して扱う方法もあります。しかし、表の構造、図の意味、ページ全体のレイアウト、画像の視覚的特徴などは、単純なテキスト抽出だけでは捉えにくい場合があります。

そのため、AI検索やRAGを設計する際は、テキスト検索を基本としつつ、必要に応じて画像、表、音声、動画、メタデータも検索対象に含められる構成が重要です。

マルチモーダル検索に必要な要素

マルチモーダル検索とは、画像検索や動画検索を個別に実装することだけを意味しません。実際のアプリケーションでは、複数の検索手法を組み合わせる必要があります。

例えば、ECの商品検索では、次のような処理が考えられます。

説明文に対する意味検索
商品名や型番に対するキーワード検索
商品画像に対する類似画像検索
カテゴリ、価格、在庫、ブランドなどによるメタデータフィルタ
複数の検索結果を統合するランキング調整

つまり、マルチモーダル検索では、複数種類のベクトル、キーワード、フィルタ、ランキングを、1つの検索体験として統合する必要があります。

MilvusのMulti-Vector Hybrid Searchは、この構成を実現するための機能です。1つのコレクションに、テキスト用のdense vector、BM25などのsparse vector、画像用のvectorといった複数のベクトルフィールドを持たせ、それぞれの検索結果を統合・リランキングできます。

Zilliz／Milvusが支える4つの領域

Zilliz／Milvusは、マルチモーダルAIアプリケーションにおける検索・インデックス基盤として活用できます。ここでは、主な役割を4つに分けて紹介します。

1. 複数種類のEmbeddingを扱う

マルチモーダルAIでは、データの種類やモデルに応じて、異なるEmbeddingを扱います。

テキストEmbedding
画像Embedding
音声Embedding
動画フレームEmbedding
sparse vector／BM25
late-interactionモデル向けのmulti-vector表現

Milvusでは、複数のベクトルフィールドやハイブリッド検索を通じて、こうした異なる表現を検索対象にできます。Zilliz Cloudは、Milvusをベースとするマネージドな検索基盤として利用できます。

2. ベクトル検索とキーワード検索を組み合わせる

実運用では、ベクトル検索だけでなく、キーワード検索も重要です。

例えば、ユーザーが「赤いスニーカー」のような曖昧な表現で検索する場合は、意味検索が有効です。一方、商品型番、製品名、規格番号、固有名詞を正確に探す場合は、キーワード検索が適しています。

このため、dense vectorによる意味検索と、sparse vector／BM25によるキーワード検索を組み合わせるハイブリッド検索が重要になります。

3. メタデータや構造化条件を同時に扱う

マルチモーダル検索では、単に「似ているもの」を探すだけでは不十分です。実際のサービスでは、次のような条件も利用されます。

ユーザー権限
公開範囲
カテゴリ
作成日時
地理情報
タグ
JSON属性
ビジネス上の優先度

Zilliz／Milvusでは、ベクトル検索にメタデータフィルタやJSONフィルタを組み合わせることで、こうした実サービスに近い検索要件へ対応しやすくなります。

4. 大規模な非構造化データを運用する

マルチモーダル検索では、検索対象となるEmbeddingの数が増えやすくなります。

1本の動画からは多数のフレームEmbeddingが生成されます。1つのPDFからも、ページ単位、画像単位、表単位、パッチ単位など、複数の検索単位が生まれます。商品カタログ、メディアアセット、医療画像、監視映像などを扱う場合、Embeddingの数はさらに大きくなります。

Zilliz Cloudは、このような大規模ベクトル検索をマネージドサービスとして運用するための選択肢です。インフラ運用、スケーリング、インデックス管理を一から設計する負担を抑え、アプリケーション開発に集中しやすくなります。

PDFや複雑な文書ではRAGの構成も変わる

マルチモーダルRAGの分かりやすい例が、PDFや複雑な文書の検索です。

PDFを扱う一般的なRAGでは、テキストを抽出してチャンク化します。ただし、表、図、数式、複雑なレイアウト、スキャン画像が多い文書では、テキスト抽出だけでは一部の情報を扱いにくい場合があります。

Milvusのブログでは、ColQwen2、Milvus、Qwen3.5を使ったマルチモーダルRAGの例が紹介されています。この構成では、PDFの各ページを画像として扱い、Vision-Language Modelによってmulti-vector embeddingへ変換します。そのEmbeddingをMilvusで検索し、取得したページ画像をマルチモーダルLLMへ渡して回答を生成します。

このアプローチのポイントは、PDFをテキストだけでなく、ページ全体の視覚情報として扱えることです。表、図、レイアウトを含むページ全体を、検索と回答生成に利用できます。

また、RAG-AnythingとMilvusを組み合わせるブログでは、テキスト、画像、表、数式などを含む複雑な文書を、統合されたパイプラインで扱う考え方が紹介されています。

これらは具体的な実装例ですが、本記事では詳細には踏み込みません。重要なのは、マルチモーダルRAGでは、単にテキストを抽出して検索するだけでなく、文書に含まれる多様な情報を、それぞれに適した形でEmbeddingへ変換し、検索基盤へ格納することです。

Zilliz Vector Lakebaseとの関係

マルチモーダル検索の対象が広がると、データ量と処理内容も大きく、複雑になります。

本番のRAGや検索サービスでは、低レイテンシな検索が求められます。一方、バックエンドでは次のような処理も必要です。

大量データの再Embedding
画像、動画、文書の重複検出
検索ログやフィードバックの分析
データ品質のチェック
インデックスの再構築
データレイク上にある既存データの検索

Zilliz Cloudの2026年5月のリリースでは、Vector LakebaseのPublic Previewが発表されました。これは、ベクトルデータベース機能をリアルタイム検索レイヤーとして活用しながら、より広いAIデータ基盤へ拡張する方向性を示すものです。

特に、On-Demand SearchやExternal Data Lake Searchは、常時稼働する検索クラスタだけでなく、必要なタイミングで大規模データを探索したり、既存のデータレイク上にあるデータを検索対象にしたりするユースケースと相性があります。

マルチモーダル検索では、画像、動画、PDF、音声などのデータが、すでにオブジェクトストレージやデータレイクに保存されているケースも少なくありません。そのため、検索基盤を既存のデータ基盤へどのように接続するかは、重要な設計要素になります。

想定されるユースケース

Zilliz／Milvusを利用したマルチモーダル検索は、次のような領域で検討できます。

EC・マーケットプレイス

ユーザーが写真やスクリーンショットから商品を探したり、説明文と画像の特徴を組み合わせて検索したりするケースです。商品名やカテゴリだけでなく、見た目の類似性も検索体験へ組み込めます。

メディア・クリエイティブ管理

大量の画像、動画、デザインファイル、文書を、自然言語や類似画像から探すケースです。マーケティング素材、制作物、ブランドアセットなどの管理に利用できます。

医療・研究

画像データとテキストレポートを組み合わせ、類似症例や関連資料を探すケースです。画像や構造化された所見も検索対象に含められます。

動画・音声検索

動画内の特定シーン、監視映像のイベント、音声クリップ、楽曲、効果音などを、視覚・聴覚的な特徴やテキスト説明から検索するケースです。

エンタープライズRAG・AIアシスタント

社内ナレッジがテキスト文書だけでなく、PDF、スライド、表、図、画像、ログ、マニュアルなどにまたがるケースです。AIアシスタントが、より多様な根拠情報を検索できるようになります。

Zilliz／Milvusの位置付け

マルチモーダルAIにおけるZilliz／Milvusの役割は、次のように整理できます。

Zilliz／Milvusは、テキストに加えて、画像、表、PDF、音声、動画、メタデータなどを検索対象とするユースケースで活用できます。各データをベクトル化し、必要に応じてハイブリッド検索やメタデータフィルタと組み合わせられる点が特徴です。

これは、Zilliz／MilvusがすべてのマルチモーダルAIに対して必ず最適である、という意味ではありません。あくまで、検索、インデックス、スケーリング、ハイブリッド検索を担う基盤としての位置付けです。

実際のシステムでは、次の要素も重要です。

Embeddingモデル
LLMやマルチモーダルLLM
データの前処理パイプライン
アクセス権限
UI
検索・回答品質の評価方法

Zilliz／Milvusは、これらの要素で構成されるシステムのうち、主に検索とインデックスのレイヤーを担います。

まとめ

AI検索やRAGでは、テキスト、画像、表、PDF、音声、動画、メタデータ、複数種類のEmbeddingなど、多様なデータを検索対象にするユースケースがあります。

こうしたシステムでは、単一の検索手法だけでなく、次の要素を組み合わせる必要があります。

複数のベクトルフィールド
dense／sparseハイブリッド検索
メタデータフィルタリング
リランキング
大規模なインデックス管理

Zilliz/Milvus は、複数のデータタイプを扱う大規模なマルチモーダル検索において、検索の高速化とインデックスの効率的な管理を実現する強力な基盤です。特に、検索対象が大規模化し、複数のデータタイプを扱う場合や、将来的にデータレイクやオンデマンド処理との接続を見据える場合に、検討できる選択肢です。

本記事では全体像に絞って紹介しました。関連する発展的なテーマとして、次のようなものがあります。

MilvusのMulti-Vector Hybrid Searchで実現できること
ColQwen2とMilvusによるPDF向けマルチモーダルRAG
RAG-AnythingとMilvusで複雑な文書を扱う方法
Zilliz Vector Lakebaseとマルチモーダルデータ基盤の関係

参考資料