はじめに
個人プロジェクト用に、マルチモーダル検索システム（例：テキストで音声を検索する、画像で動画を検索する）の構築に使えそうなローカルモデルを調査していました。
この記事では、その際に拾い集めた 2026/10/07 現在に利用可能なローカルモデルについてまとめます。
- オンラインモデルは含みません。
- モデルカードベースの一次調査のまとめのため、使用した感想は含みません。
- 以前に類似の用途でモデルを選定した時点で既に定番であった or 採用を見送ったモデルついてはここでは取り上げません。
今回新たにモデルを探す際に意識した軸はざっくり以下です。特に、最近登場した Jev が Rerank 用途にも向いているという事前情報を耳にして気になっていたため、そこも調査対象に含めています。
- マルチモーダル Embedding
- モダリティ横断での意味検索用途
- Reranking
- 検索結果の高品質化用途
- Decision Model（Jev-like）による順位付け
- Rerank モデル代替候補
- Captioning
- 非テキスト（画像/音声/動画）をテキストに変換してから検索する用途等
モデル利用上の注意
- ベンチマークは評価条件をそろえて比較し、音声モデルは得意分野（音声・音楽・環境音など）を確認してください。
- Captionは細かな音色・質感・動きを落とす場合があります。Embeddingと組み合わせ、細粒度の意味推論にはRerankerも検討してください。
- 速度・処理コストは候補数、入力サイズ、バッチ処理に依存し、動画ではフレーム抽出・時間範囲・解像度・入力方式も影響します。
- 商用利用の可否は、使用する個別チェックポイントのライセンスを確認してください。
モデルサイズについて
- 掲載サイズは配布されている重みファイル容量の概算です。
- 実行時のVRAM使用量は、KV cache・メディア前処理・中間テンソル・バッチサイズなどにより重み容量を上回る場合があります。
- 量子化版（GGUF・AWQ・GPTQ・FP8・QAT Q4など）は、標準のBF16/FP16版より小さい場合があります。
- Adapterには別途ベースモデルが必要です。MoEも、稼働パラメータ数が少なくても全体の重み保持が必要になる場合があります。
モデル一覧
凡例
| 絵文字・記号 | 意味 |
|---|---|
| 📝 | テキスト |
| 🖼️ | 画像 |
| 🔊 | 音声 |
| 🎬 | 動画 |
| 🎬🔇 | 無音動画 |
| 📧 | メール |
| 🗂️ | 構造化データ |
| 🧮 | 埋め込みベクトル |
| 📊 | スコア |
| 🎯 | 確率 |
| ✅ | 判定・選択 |
| 🏷️ | 分類 |
/ |
対応する入出力の列挙 |
+ |
組み合わせ |
マルチモーダルEmbedding / Retrievalモデル
| モデル | 重みサイズの目安 | 主な用途 | 入力モダリティ | 出力 | モデルカード |
|---|---|---|---|---|---|
| EmbeddingGemma 2（Unsloth GGUF） | 本体≈176 MB (UD-Q4_K_XL) / ≈558 MB (BF16)、mmprojは別途≈555 MB (Q8_0) / ≈982 MB (BF16) | 740Mの軽量クロスモーダル検索・RAG | 📝 / 🖼️ / 🔊 / 🎬 | 🧮（768次元、128/256/512に短縮可） | google/embeddinggemma-2 / Unsloth GGUF |
| e5-omni-3B | ≈9.4 GB (BF16) | 汎用クロスモーダルEmbedding・検索 | 📝 / 🖼️ / 🔊 / 🎬 | 🧮 | Haon-Chen/e5-omni-3B |
| e5-omni-7B | ≈17.9 GB (BF16) | e5-omniの大規模版。汎用クロスモーダル検索 | 📝 / 🖼️ / 🔊 / 🎬 | 🧮 | Haon-Chen/e5-omni-7B |
| Qwen3-VL-Embedding-2B | ≈4.3 GB (BF16) | Text / Image / Video検索、視覚意味検索 | 📝 / 🖼️ / 🎬 | 🧮 | Qwen/Qwen3-VL-Embedding-2B |
| Qwen3-VL-Embedding-8B | ≈16.3 GB (BF16) | 高容量のVision-Language Embedding | 📝 / 🖼️ / 🎬 | 🧮 | Qwen/Qwen3-VL-Embedding-8B |
| WAVE-7B | ≈18.8 GB | Audio / Video / Text の共通表現学習、Audio-Visual検索 | 📝 / 🔊 / 🎬🔇 / 🔊+🎬 | 🧮 | tsinghua-ee/WAVE-7B |
| Fusion Embedding 2 2B Preview | ≈242 MB adapter、別途ベースモデルが必要 | Text / Image / Video / Audio を統合した実験的Embedding | 📝 / 🖼️ / 🎬 / 🔊 | 🧮 | EximiusLabs/fusion-embedding-2-2b-preview |
| LCO-Embedding-Omni-3B-2605 | ≈9.4 GB (BF16) | Text / Image / Audio / Video 統合検索 | 📝 / 🖼️ / 🔊 / 🎬 | 🧮 | LCO-Embedding/LCO-Embedding-Omni-3B-2605 |
Reranker / Decision Model
これらのモデルは、第一段検索後の候補に対するスコアリング、フィルタリング、順位付けなどに利用できます。
| モデル | 重みサイズの目安 | 主な用途 | 入力モダリティ | 出力 | モデルカード |
|---|---|---|---|---|---|
| Qwen3-VL-Reranker-2B | ≈4.3 GB (BF16) | クロスモーダル・リランキング | 📝 / 🖼️ / 🎬 | 📊（関連度） | Qwen/Qwen3-VL-Reranker-2B |
| Qwen3-VL-Reranker-8B | ≈17.6 GB (BF16) | 高容量クロスモーダル・リランキング | 📝 / 🖼️ / 🎬 | 📊（関連度） | Qwen/Qwen3-VL-Reranker-8B |
| Laya | 英語421M checkpointで≈808 MB | 軽量・非自己回帰型Decision Model | 📝 / 📧 / 🗂️（JSON） / 🗂️（状態） | 🎯（校正済み） / ✅（型付き） | Infin8-AI/laya |
| d1-3B | ≈6.25 GB、GGUF / W8A8版あり | 1回のforward passで判定・スコアリング・リランキング。トークン生成不要 | 📝 / 🗂️（JSON） / 🖼️ | 🎯（校正済み） / ✅（型付き） / 📊 | LiquidAI/d1-3B |
| d1-omni-600M | ≈2.35 GB (FP32)、GGUF版あり | 音声にも対応する実験的な小型Decision Model。トークン生成不要 | 📝 / 🗂️（JSON） / 🖼️ / 🔊（画像と音声は同時入力不可） | 🎯 / ✅（型付き） / 📊 | LiquidAI/d1-omni-600M |
| OpenJev | ≈54 GB 16-bit、量子化版あり | Jevスタイルの公開Decision Model。判定・順位付け | 📝 | ✅（選択） / 🎯 / 📊 | openjev/openjev |
| Clef (27B) | ≈55 GB (BF16、判定ヘッド込み) | 複数質問・選択肢を1回のforward passで判定。Jev / SystemOne互換 | 📝 / 🗂️（JSON） / 🖼️ / 🎬（フレーム） | 🎯 / ✅（型付き） / 📊 | Cloudflare/clef |
| Valen-Preview-0923 | ≈1.16 GB delta、Qwen3.5-2B baseが別途必要 | マルチモーダル候補スコアリング | 📝 / 🖼️ / 🎬 | 🎯（候補） / ✅ | Valen-Team/Valen-Preview-0923 |
| vjev-vision | ≈9.1 GB | Vision対応Jev系Decision / Ranking | 📝 / 🖼️ | 🎯（校正済み） / ✅（構造化） | yah01/vjev-vision |
| Jev-Omni | ≈24 GB | Audioを含むマルチモーダルDecision Model | 📝 / 🖼️ / 🔊 / 🎬 | 🎯 / 🏷️ | ldov/Jev-Omni |
| OneJev-0.8B | ≈2.2 GB (BF16) | 小型マルチモーダルSystem-One系Decision Model | 📝 / 🖼️ / 🎬 | ✅（校正済み） / 🎯 | OmniJev/OneJev-0.8B |
| OneJev-4B | ≈10.4 GB (BF16) | マルチモーダルDecision / Reranking | 📝 / 🖼️ / 🎬 | ✅（校正済み） / 🎯 | OmniJev/OneJev-4B |
| OneJev-9B | ≈18.8 GB (BF16) | OneJevの高容量版 | 📝 / 🖼️ / 🎬 | ✅（校正済み） / 🎯 | OmniJev/OneJev-9B |
| OneJev-27B | ≈54.7 GB (BF16) | 大規模マルチモーダルDecision Model | 📝 / 🖼️ / 🎬 | ✅（校正済み） / 🎯 | OmniJev/OneJev-27B |
Image / Videoキャプション・マルチモーダル理解モデル
キャプション生成モデルは、非テキストメディアを検索可能な意味記述や構造化メタデータへ変換し、後段の検索・リランキングへ利用できます。
| モデル | 重みサイズの目安 | 主な用途 | 入力モダリティ | 出力 | モデルカード |
|---|---|---|---|---|---|
| CapRL-Qwen3VL-2B | F16 GGUFで main ≈4.1 GB + multimodal projector ≈0.8 GB | Dense Image Captioning | 🖼️ + 📝（プロンプト） | 📝 | internlm/CapRL-Qwen3VL-2B |
| CapRL-Qwen3VL-4B | ≈9.7 GB | 高容量Dense Image Captioning | 🖼️ + 📝（プロンプト） | 📝 | internlm/CapRL-Qwen3VL-4B |
| CapRL-Video-4B | ≈9.6 GB (BF16) | 時間情報を含むDense Video Captioning | 🎬 / 🖼️ + 📝（プロンプト） | 📝 | internlm/CapRL-Video-4B |
| Qwen3-VL-4B-Instruct | ≈8.9 GB (BF16) | 汎用Image / Video Captioning、QA、構造化視覚情報抽出 | 📝 / 🖼️ / 🎬 | 📝 | Qwen/Qwen3-VL-4B-Instruct |
Audio / Omniキャプションモデル
| モデル | 重みサイズの目安 | 主な用途 | 入力モダリティ | 出力 | モデルカード |
|---|---|---|---|---|---|
| Qwen3-Omni-30B-A3B-Captioner | ≈63.4 GB | Speech / Environmental Sound / Music / SFXを含むDense Audio Captioning | 🔊 | 📝 | Qwen/Qwen3-Omni-30B-A3B-Captioner |
| Audio Flamingo 3 | 実重み一式≈16.5 GB、repo全体はより大きい場合あり | Audio Captioning、QA、Reasoning、Speech / Sound / Music理解 | 🔊 + 📝（プロンプト） | 📝 | nvidia/audio-flamingo-3-hf |
| Qwen3-Omni-30B-A3B-Instruct | repo全体≈70.5 GB | 汎用Omni理解、Audio-Video reasoning | 📝 / 🖼️ / 🔊 / 🎬 | 📝 / 🔊 | Qwen/Qwen3-Omni-30B-A3B-Instruct |
| Gemma 4 E2B IT | ≈10.3 GB BF16、より小さいQAT Q4版あり | 小型マルチモーダルCaptioning / Understanding | 📝 / 🖼️ / 🔊 / 🎬（フレーム） | 📝 | google/gemma-4-E2B-it |
| Gemma 4 E4B IT | ≈16.0 GB BF16、より小さいQAT Q4版あり | 中規模マルチモーダルCaptioning / Understanding | 📝 / 🖼️ / 🔊 / 🎬（フレーム） | 📝 | google/gemma-4-E4B-it |
| Gemma 4 12B IT | ≈23.9 GB BF16、より小さいQAT Q4版あり | 汎用マルチモーダルCaptioning / Semantic Extraction | 📝 / 🖼️ / 🔊 / 🎬（フレーム） | 📝 | google/gemma-4-12b-it |
| TLive-Omni-4B | ≈11.6 GB BF16 | Audio Description、Dense Video Captioning、Temporal Grounding、Multimodal QA | 📝 / 🖼️ / 🔊 / 🎬 | 📝 | TaoLiveAIGC/TLive-Omni-4B |
| MiniCPM-o 4.5 | repo全体≈20 GB | General Audio Captioning、Sound Scene Tagging、Omni-modal Understanding | 📝 / 🖼️ / 🔊 / 🎬 | 📝 / 🔊 | openbmb/MiniCPM-o-4_5 |
関連Baseline / Backboneモデル
| モデル | 重みサイズの目安 | 主な用途 | 入力モダリティ | 出力 | モデルカード |
|---|---|---|---|---|---|
| Qwen2.5-Omni-7B | repo全体≈22.4 GB | 汎用Omniモデル。後発マルチモーダルモデルの構成要素・比較対象 | 📝 / 🖼️ / 🔊 / 🎬 | 📝 / 🔊 | Qwen/Qwen2.5-Omni-7B |
| CapRL-3B | ≈7.5 GB | 旧世代Dense Image Captioning | 🖼️ + 📝（プロンプト） | 📝 | internlm/CapRL-3B |
| Qwen2.5-VL-72B-Instruct | ≈147 GB BF16 | 大規模Vision-Language baseline | 📝 / 🖼️ / 🎬 | 📝 | Qwen/Qwen2.5-VL-72B-Instruct |
| Qwen2.5-7B-Instruct | ≈15.2 GB (BF16) | 汎用Text LLM、Pointwise/Listwise Reranking baseline | 📝 | 📝 | Qwen/Qwen2.5-7B-Instruct |
| Qwen3.5-2B | ≈4.6 GB | 一部Decision Model派生で用いられる小型マルチモーダルBackbone | 📝 / 🖼️ / 🎬 | 📝 | Qwen/Qwen3.5-2B |
| Qwen3.5-4B | ≈9.3 GB | 複数のDecision Model派生で用いられるマルチモーダルBackbone | 📝 / 🖼️ / 🎬 | 📝 | Qwen/Qwen3.5-4B |
機能別分類
Retrieval Embedding
近似最近傍探索（ANN）や第一段候補生成に利用するモデルです。
- e5-omni
- LCO-Embedding-Omni
- Qwen3-VL-Embedding
- WAVE
- Fusion Embedding 2
- EmbeddingGemma 2
Reranking / Decision Model
第一段検索後の候補をスコアリング、フィルタリング、再順位付けするためのモデルです。
- Qwen3-VL-Reranker
- Laya
- d1（d1-3B / d1-omni-600M）
- OpenJev
- Clef
- Valen
- vjev-vision
- Jev-Omni
- OneJev
Captioning / Semantic Indexing
Image、Audio、Videoをテキストまたは構造化された意味表現へ変換する用途です。
- CapRL-Qwen3VL
- CapRL-Video
- Qwen3-VL
- Qwen3-Omni Captioner
- Audio Flamingo 3
- Gemma 4
- TLive-Omni
- MiniCPM-o
Audio-Visual Retrieval特化
Audio / Video間の意味的な対応付けを主対象とするモデルです。
- WAVE
- e5-omni
- LCO-Embedding-Omni
Pick Up
EmbeddingGemma 2（Unsloth GGUF）
テキスト・画像・音声・動画を共通ベクトルに変換する、740Mの軽量Embeddingモデル。 必要な音声・視覚エンコーダだけを読み込める構成で、100以上の言語と8Kトークンの入力に対応します。出力は768次元で、128・256・512次元への短縮も可能。少ない計算資源でマルチモーダル検索を構築する候補です。
openbmb/MiniCPM-o-4_5
映像・音声を同時に扱える、総パラメータ約9Bの汎用Omniモデル。 入力を受けながらテキスト・音声を返す全二重のリアルタイム対話が特徴です。画像・動画理解や音声の説明にも対応し、検索用キャプション生成と対話機能をまとめたい場合の候補になります。
TaoLiveAIGC/TLive-Omni-4B
ライブコマース向けに設計された、4Bのマルチモーダル理解モデル。 映像と音声をタイムスタンプで対応付け、商品の視覚的な特定、動画の詳細な説明、出来事の時間位置の特定などをテキストで出力します。音と映像の対応を保った動画の意味インデックス作成に活用する候補です。
Qwen/Qwen3-Omni-30B-A3B-Captioner
音声の詳細なキャプション生成に特化したモデル。 発話・環境音・音楽・効果音が混在する音声を、追加のテキストプロンプトなしで説明します。入力は1回につき音声1件、出力はテキストのみで、推奨音声長は30秒以内。音声を検索可能な説明文に変換する用途の候補です。
akhilaaa3/Jev-Omni
Gemma 4 12B ITをベースにした、マルチモーダル判定モデル。 テキスト・画像・音声・動画について、質問と選択肢を与えると各選択肢の確率を返します。説明文を生成せずに候補の選択やフィルタリングを行え、検索後の判定段階に活用する候補です。動画は16フレーム、音声は最大30秒を扱います。
おわりに
前回調査した2025年末頃のローカルモデル x RAG文脈では、「モダリティとしてはもっぱらテキストが相手で、画像もサポートされ始めている」くらいのもので、音声や動画までまともに扱えるモデルはごく僅かであったと記憶しています。
しかし久々に調べてみるとかなり選択肢が増えていて、構築したいシステムに応じたさまざまな強みを活かした構成が選べそうだなと感じました。
ただ、2026年末現在ではローカルモデルを動かすための計算資源の需要が急激に高まっており、VRAMをたくさん積んだマシンがなかなか組みづらい状況が続いています。
そのため、マルチモーダル検索システムのように複数のローカルモデルを併用する必要のある用途においては、本記事で取り上げたモデルの一部は少し高くつく（例：音声キャプションしたいだけなのにQwen3-Omni-30B-A3B-Captionerはデカい）印象でした。
システムの構築にあたっては、思い切ってサポートするモダリティを削ったり、単体でなるべく多くのモダリティをサポートするモデルを採用して使い回す等して、要求VRAMを抑える工夫をする必要がありそうです。