0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

EmbeddingGemma 2解説:マルチモーダル埋め込みをオンデバイスで動かす

0
Posted at

はじめに

Google が、オープンウェイトのマルチモーダル埋め込みモデル EmbeddingGemma 2 を公開しました。Google Developers Blog では、紹介記事と開発者ガイドの2本が出ています。

  • 最大 740M パラメータ
  • テキスト・コード・画像・動画・音声を 768次元の共通ベクトル空間にマッピング
  • データを外部に送らず、デバイス上で検索できる
  • Matryoshka 表現学習(MRL)で、埋め込みを最小 128次元まで切り詰められる

従来は、画像検索や音声検索のたびにクラウドの埋め込み API を呼ぶ構成が一般的でした。EmbeddingGemma 2 を使えば、これをエッジ側で完結させる設計が現実的になります。

📌 影響を受ける人

  • モバイルアプリや組み込み機器で、メディア検索や RAG を実装している人
  • 個人情報を含む写真・音声・動画を、クラウドに送りたくない人
  • ベクトル DB のストレージコストを下げたい人

既存のものが壊れる変更ではありません。action_required は false で、新しい選択肢が増えたという位置づけです。

変更の全体像

統合方法は、目的別に3つあります。

変更内容

1. EmbeddingGemma 2 本体(severity: high)

項目 内容
モデル EmbeddingGemma 2
ライセンス形態 オープンウェイト
パラメータ数 最大 740M(エンコーダ単位では 270M〜740M)
対応モダリティ テキスト・コード・画像・動画・音声
埋め込み次元 768次元(MRL で最小128次元まで可変)
狙い プライバシー重視のオンデバイス検索

異なるモダリティを1つのベクトル空間に置くので、「テキストで画像や動画、音声を検索する」といったクロスモーダル検索を、モデルを切り替えずに実現できます。

2. 組み込み方法

方法 特徴 向いているケース
MediaPipe Tasks クロスプラットフォームで手軽に組み込める まず動かしたい、複数 OS に対応したい
LiteRT CPU・GPU・NPU 向けに細かく性能を最適化できる レイテンシや電力を詰めたい

3. 紹介されているユースケース(超低レイテンシのローカル用途)

  1. search-as-you-type 型のメディア検索: 入力に合わせて結果を返す
  2. キーフレームを使った動画内シーン検索: 動画を丸ごとではなく、代表フレームを埋め込んで検索する
  3. ゼロショットの意図ルーティング: 学習なしで、入力をどの機能に振り分けるか判定する

4. 開発者ガイド(severity: medium)

  • sentence-transformers を使うと、モダリティ別のエンコーダを必要な分だけロードできます。
  • エンコーダの規模は 270M〜740M で、メモリ使用量を抑えられます。
  • Matryoshka 表現学習(MRL) により、埋め込みを最小128次元まで動的に切り詰められます。検索性能を高く保ったまま、ベクトル DB のストレージ要件を大きく減らせます。

💡 Tips
MRL は「先頭から N 次元だけ使う」ことで機能する手法です。768次元から128次元にすれば、保存容量は単純計算で約1/6になります。実際の精度への影響は、自分のデータで評価してください。

影響と対応

今回の公開は、既存システムへの破壊的変更ではありません。ただし、次のような場面では検討する価値があります。

こんな人 検討ポイント
端末内の写真・動画を検索するアプリを作っている 外部送信なしで検索でき、プライバシー面の説明がしやすい
画像・音声用に別々のモデルを使っている 共通空間にまとめることで、構成を簡素化できる可能性がある
ベクトル DB のコストが気になる MRL で次元を削減し、容量を抑えられる
端末の性能に制約がある 必要なモダリティのエンコーダだけロードする

推奨アクションは次のとおりです。

  1. 公式ブログを読む。紹介記事と開発者ガイドの2本があります(URL は文末)。
  2. プロトタイプを作る。手早く試すなら sentence-transformers、モバイルへ載せるなら MediaPipe Tasks が入口になります。
  3. 次元数と精度のトレードオフを測る。768 / 512 / 256 / 128 など、複数の次元で自社データの検索精度を比較します。
  4. 本番向けに最適化する。必要なら LiteRT で、CPU・GPU・NPU ごとの性能を詰めます。

⚠️ 注意
元データには、ベンチマーク数値、対応言語、ライセンスの詳細、必要メモリ量などは含まれていません。採用前に、公式ドキュメントで確認してください。

コード例

元データにはコードが含まれていません。以下は、開発者ガイドの説明(sentence-transformers での選択的ロードと MRL による次元削減)をイメージするための概念的なスケッチです。モデル ID や引数名は仮のものなので、実際の API は公式ガイドで確認してください。

Before: クラウド API に依存する構成

# 画像・テキストごとにクラウドの埋め込み API を呼ぶ(イメージ)
vec = cloud_embedding_api.embed(image_bytes)   # データが外部に送信される
results = vector_db.search(vec, top_k=10)      # 高次元ベクトルを保存

After: オンデバイスで共通空間に埋め込む(概念例)

from sentence_transformers import SentenceTransformer

# ※ モデル ID と引数は仮。実際の指定は公式ガイドを参照
model = SentenceTransformer(
    "google/embeddinggemma-2",        # 仮のID
    truncate_dim=128,                  # MRLで128次元に削減する想定
)

text_vec = model.encode("海辺の夕日")
# 画像・音声も同じ空間に入るため、テキストクエリで横断検索できる
# 必要なモダリティのエンコーダだけをロードしてメモリを節約する

まとめ

  • EmbeddingGemma 2 は、テキスト・コード・画像・動画・音声を 768次元の共通空間に埋め込む、オープンウェイトのマルチモーダル埋め込みモデルです(最大 740M パラメータ)。
  • データを外部に送らず、オンデバイスで検索できます。MediaPipe Tasks なら手軽に、LiteRT なら CPU・GPU・NPU 向けに細かく最適化できます。
  • 開発者ガイドでは、sentence-transformers によるモダリティ別エンコーダの選択的ロードと、MRL による128次元までの次元削減が紹介されています。
  • 破壊的変更はなく、対応は必須ではありません。端末内のメディア検索やプライバシー重視の RAG を作っているなら、試す価値があります。

参考リンク

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?