EmbeddingGemmaをデバイス上（Jetson Nano）で動かしてDifyで埋め込みしてみる

Last updated at 2025-09-18Posted at 2025-09-17

EmbeddingGemmaというオンデバイスな埋め込みモデルの話題が気になったので、DifyからEmbeddingGemmaを使ってみたいと思います。

ただAPI経由で使うとかは面白くないのでマイコンデバイス上で動かしたモデルを利用してみたいと思います。

EmbeddingGemmaとは

オンデバイス向けに設計された埋め込みモデルです。

メールとかそういった内容を外部の埋め込みモデルAPIを使わずにデバイス内でやれます。

EmbeddingGemmaをマイコンで動かしてDifyからアクセス

Hugging FaceのAPI経由で使うこともできますが、オンデバイス向けにって話なのでAPIで使うのはちょっと面白くない気がしています。

日本語だとEmbed=組み込みだしEmbed=埋め込みだしわけわからん感じだけどダブルミーニングなはず。

オンデバイス向けにって書いてるけどマイコンボードっていうよりGoogle的にはPixelの中で動かすなどを想定しているのかも。

ということでJetson Nanoが手持ち無沙汰で家に眠ってるのでここに入れて使ってみます。

利用に関してはDifyからアクセスします。
Jetson NanoにDifyをホスティングまではしてないのでクラウド版Difyからアクセスできるようにします。

使うまでの流れ

STEP1. Jetson Nanoにollamaインストールしつつ、EmbeddingGemmaのインストール
STEP2. Jetson Nanoのollamaに外部からアクセスできるようにする
STEP3. Difyから利用

という感じです。

STEP1: EmbeddingGemmaのインストール

STEP1の方はollamaが対応してくれてるのですぐいけます

$ ollama pull embeddinggemma:latest

（v0.11.10未満の場合）ollamaのバージョンをあげる

ローカルでとりあえず試そうとしましたが...

$ curl -s http://localhost:11434/api/embed   -H 'content-type: application/json'   -d '{"model":"embeddinggemma:300m","input":["東 京の天気","寿司が食べたい"]}'
{"error":"this model does not support embeddings"}

と最初エラーになりました。

（ChatGPT談ですが）ollamaで/embedが利用できるのはv0.11.10以降らしいです。

$ ollama --version
ollama version is 0.11.4

確かに0.11.4なので古いですね。

バージョンアップします。

$ curl -fsSL https://ollama.com/install.sh | sh

再確認すると0.11.11になりました。

$ ollama --version
ollama version is 0.11.11

来ました

改めてローカルから試す

$ curl -s http://localhost:11434/api/embed   -H 'content-type: application/json'   -d '{"model":"embeddinggemma:300m","input":["東 京の天気","寿司が食べたい"]}'

{"model":"embeddinggemma:300m","embeddings":[[-0.17842108,-0.003002565,0.053567614,0.007768844,0.015386832,0.03235181,-0.020633992,0.01612448,0.028137116,-0.063197635,-0.004824459,-0.012347473,0.034683675,-0.015954712,0.10620198,0.034900498,0.037444353,-0.032316588,-0.

。。。

という感じでベクトル化に成功しました。