はじめに
Google が、オープンウェイトのマルチモーダル埋め込みモデル EmbeddingGemma 2 を公開しました。Google Developers Blog では、紹介記事と開発者ガイドの2本が出ています。
- 最大 740M パラメータ
- テキスト・コード・画像・動画・音声を 768次元の共通ベクトル空間にマッピング
- データを外部に送らず、デバイス上で検索できる
- Matryoshka 表現学習(MRL)で、埋め込みを最小 128次元まで切り詰められる
従来は、画像検索や音声検索のたびにクラウドの埋め込み API を呼ぶ構成が一般的でした。EmbeddingGemma 2 を使えば、これをエッジ側で完結させる設計が現実的になります。
📌 影響を受ける人
- モバイルアプリや組み込み機器で、メディア検索や RAG を実装している人
- 個人情報を含む写真・音声・動画を、クラウドに送りたくない人
- ベクトル DB のストレージコストを下げたい人
既存のものが壊れる変更ではありません。
action_requiredは false で、新しい選択肢が増えたという位置づけです。
変更の全体像
統合方法は、目的別に3つあります。
変更内容
1. EmbeddingGemma 2 本体(severity: high)
| 項目 | 内容 |
|---|---|
| モデル | EmbeddingGemma 2 |
| ライセンス形態 | オープンウェイト |
| パラメータ数 | 最大 740M(エンコーダ単位では 270M〜740M) |
| 対応モダリティ | テキスト・コード・画像・動画・音声 |
| 埋め込み次元 | 768次元(MRL で最小128次元まで可変) |
| 狙い | プライバシー重視のオンデバイス検索 |
異なるモダリティを1つのベクトル空間に置くので、「テキストで画像や動画、音声を検索する」といったクロスモーダル検索を、モデルを切り替えずに実現できます。
2. 組み込み方法
| 方法 | 特徴 | 向いているケース |
|---|---|---|
| MediaPipe Tasks | クロスプラットフォームで手軽に組み込める | まず動かしたい、複数 OS に対応したい |
| LiteRT | CPU・GPU・NPU 向けに細かく性能を最適化できる | レイテンシや電力を詰めたい |
3. 紹介されているユースケース(超低レイテンシのローカル用途)
- search-as-you-type 型のメディア検索: 入力に合わせて結果を返す
- キーフレームを使った動画内シーン検索: 動画を丸ごとではなく、代表フレームを埋め込んで検索する
- ゼロショットの意図ルーティング: 学習なしで、入力をどの機能に振り分けるか判定する
4. 開発者ガイド(severity: medium)
- sentence-transformers を使うと、モダリティ別のエンコーダを必要な分だけロードできます。
- エンコーダの規模は 270M〜740M で、メモリ使用量を抑えられます。
- Matryoshka 表現学習(MRL) により、埋め込みを最小128次元まで動的に切り詰められます。検索性能を高く保ったまま、ベクトル DB のストレージ要件を大きく減らせます。
💡 Tips
MRL は「先頭から N 次元だけ使う」ことで機能する手法です。768次元から128次元にすれば、保存容量は単純計算で約1/6になります。実際の精度への影響は、自分のデータで評価してください。
影響と対応
今回の公開は、既存システムへの破壊的変更ではありません。ただし、次のような場面では検討する価値があります。
| こんな人 | 検討ポイント |
|---|---|
| 端末内の写真・動画を検索するアプリを作っている | 外部送信なしで検索でき、プライバシー面の説明がしやすい |
| 画像・音声用に別々のモデルを使っている | 共通空間にまとめることで、構成を簡素化できる可能性がある |
| ベクトル DB のコストが気になる | MRL で次元を削減し、容量を抑えられる |
| 端末の性能に制約がある | 必要なモダリティのエンコーダだけロードする |
推奨アクションは次のとおりです。
- 公式ブログを読む。紹介記事と開発者ガイドの2本があります(URL は文末)。
- プロトタイプを作る。手早く試すなら sentence-transformers、モバイルへ載せるなら MediaPipe Tasks が入口になります。
- 次元数と精度のトレードオフを測る。768 / 512 / 256 / 128 など、複数の次元で自社データの検索精度を比較します。
- 本番向けに最適化する。必要なら LiteRT で、CPU・GPU・NPU ごとの性能を詰めます。
⚠️ 注意
元データには、ベンチマーク数値、対応言語、ライセンスの詳細、必要メモリ量などは含まれていません。採用前に、公式ドキュメントで確認してください。
コード例
元データにはコードが含まれていません。以下は、開発者ガイドの説明(sentence-transformers での選択的ロードと MRL による次元削減)をイメージするための概念的なスケッチです。モデル ID や引数名は仮のものなので、実際の API は公式ガイドで確認してください。
Before: クラウド API に依存する構成
# 画像・テキストごとにクラウドの埋め込み API を呼ぶ(イメージ)
vec = cloud_embedding_api.embed(image_bytes) # データが外部に送信される
results = vector_db.search(vec, top_k=10) # 高次元ベクトルを保存
After: オンデバイスで共通空間に埋め込む(概念例)
from sentence_transformers import SentenceTransformer
# ※ モデル ID と引数は仮。実際の指定は公式ガイドを参照
model = SentenceTransformer(
"google/embeddinggemma-2", # 仮のID
truncate_dim=128, # MRLで128次元に削減する想定
)
text_vec = model.encode("海辺の夕日")
# 画像・音声も同じ空間に入るため、テキストクエリで横断検索できる
# 必要なモダリティのエンコーダだけをロードしてメモリを節約する
まとめ
- EmbeddingGemma 2 は、テキスト・コード・画像・動画・音声を 768次元の共通空間に埋め込む、オープンウェイトのマルチモーダル埋め込みモデルです(最大 740M パラメータ)。
- データを外部に送らず、オンデバイスで検索できます。MediaPipe Tasks なら手軽に、LiteRT なら CPU・GPU・NPU 向けに細かく最適化できます。
- 開発者ガイドでは、sentence-transformers によるモダリティ別エンコーダの選択的ロードと、MRL による128次元までの次元削減が紹介されています。
- 破壊的変更はなく、対応は必須ではありません。端末内のメディア検索やプライバシー重視の RAG を作っているなら、試す価値があります。