はじめに
Arduino の VENTUNO Q の Hexagon NPU に llama.cpp で LFM2.5 と Qwen3 を載せ、同じボードの CPU と比べたところ、プロンプト処理は約 17 倍、画像を渡してからの初回応答は Qwen3-VL-2B で 14.6 秒から 1.4 秒になりました。NPU が何に効いて何に効かないのかを、数字で確かめていきます。
前編では、Raspberry Pi 5 の CPU だけで Liquid AI の VLM LFM2.5-VL を動かし、450M なら 40 tokens/s 前後で生成できる一方、画像を渡してから最初のトークンが返るまで(TTFT)に 3.5 秒、1.6B では 14 秒かかりました。カメラで見たものにすぐ反応してほしい用途だと、この「最初の一言までの待ち時間」が気になります。前編の最後に「NPU などのアクセラレータを使った場合も見ていきたい」と書いたので、今回はその続きです。
VENTUNO Q の SoC は Qualcomm Dragonwing IQ8 で、この中に Hexagon NPU が入っています。llama.cpp には Hexagon バックエンドがあり、起動オプションに --device HTP0 -ngl 99 を足すだけでモデルを NPU に載せられます。
先に結論を書いておきます。
- プロンプト処理(Prefill)は CPU の約 17 倍。1k トークンのプロンプトなら TTFT が 10 秒超から 0.7 秒以下になる。生成(Decode)は 1.2B で約 1.2 倍、0.6B では NPU のほうが遅い
- VLM で速くなるのは主に画像エンコーダ。LLM 本体だけを NPU に載せても初回応答はあまり縮まない
Arduino VENTUNO Q とは
VENTUNO Q は、Arduino が 2026 年に出したエッジ AI・ロボティクス向けのシングルボードコンピュータです。Linux が動く MPU(Qualcomm Dragonwing IQ8)と Arduino スケッチが動く MCU(STM32H5)を載せていますが、今回使うのは MPU 側だけです。公式 FAQ にも llama.cpp と GGUF モデルによる LLM 推論への対応が明記されています。
| 項目 | 構成 |
|---|---|
| SoC | Qualcomm Dragonwing IQ8(IQ-8275) |
| CPU | 8 コア。Cortex-A78C ×4(最大 2.36 GHz)+ Cortex-A55 ×4(最大 1.96 GHz)の big.LITTLE |
| NPU | Qualcomm Hexagon、最大 40 dense TOPS。llama.cpp 上では HTP0、アーキテクチャ v75 |
| GPU | Adreno 623(今回は使いません) |
| RAM | 16 GB LPDDR5(CPU / GPU / NPU で共有) |
| OS | Ubuntu 24.04.4 LTS(kernel 6.8.0-1084-qcom) |
| 推論エンジン | llama.cpp(2026 年 10 月 25 日時点の master)、モデル形式は GGUF |
llama.cpp で NPU(Hexagon)を使う仕組み
llama.cpp には Snapdragon 系 SoC の Hexagon NPU 向けバックエンドがあります(docs/backend/snapdragon)。起動ログにも Hexagon backend (experimental) と出るとおり、まだ実験的な扱いです。
使い方と制約は次のとおりです。
- NPU は
HTP0という名前のデバイスとして見えます。README によると Hexagon は llama.cpp 上で「GPU デバイスとして振る舞う」ので、GPU に載せる層数を指定する-nglをそのまま使い、--device HTP0 -ngl 99で全層を NPU に載せます。 - 載せた層は Prefill(プロンプト処理)も Decode(1 トークンずつの生成)も NPU 上で動きます。NPU 側が対応していない演算は自動的に CPU に戻されます。今回のモデルでは VLM の画像エンコーダ(mmproj)の一部の演算が該当し、起動時に
unsupported operatorsの警告が出ますが、動作に問題はありません。LLM 本体の演算は、LFM2 固有の演算(Shortconv)も含めてすべて NPU で動いていました。 - 量子化は Q4_0 が基本です。Hexagon バックエンドは Q4_0 などの重みを読み込み時に NPU 向けの並びに詰め直す作りで、公式 README の例も Q4_0 なので、テキスト LLM は Q4_0 を使いました。VLM 本体は前編と条件を揃えるため Q4_K_M ですが、Q4_K_M の行列積も NPU で実行されていました。
- 1 つの NPU セッションが扱えるメモリは約 3.5 GB です(今回の環境では約 3.1 GiB と表示されました)。今回のモデルは最大でも 2B + mmproj で 2 GB 弱なので、この範囲に収まります。
記事中の用語をまとめておきます。
| 用語 | 説明 |
|---|---|
| HTP0 | llama.cpp が列挙する Hexagon NPU のデバイス名。HTP は Hexagon Tensor Processor の略 |
-ngl |
NPU(GPU 扱い)に載せる層の数。99 で全層 |
| Prefill | プロンプト全体をまとめて処理する段階。長いほど時間がかかる |
| Decode | 1 トークンずつ生成する段階。tokens/s はここの速さ |
| TTFT | リクエストを送ってから最初のトークンが返るまでの時間。VLM では画像エンコードと Prefill が含まれる |
| mmproj | 画像エンコーダとプロジェクタをまとめた GGUF。VLM で本体と一緒に読み込む |
| FastRPC | CPU 側から NPU に処理を依頼する仕組み。ライブラリは libcdsprpc.so
|
実際に動かしてみる
1. Hexagon 対応 llama.cpp をビルドする
Hexagon バックエンドを有効にしたビルドには Hexagon SDK が必要で、SDK に含まれるツール(qaic、hexagon-clang)は x86_64 バイナリです。そのため、x86_64 の PC 上で Docker を使ってビルドし、できたパッケージをボードにコピーするのが一番楽です。公式が用意している Docker イメージと CMake プリセットを使います。
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
docker run --rm --platform linux/amd64 \
-v "$PWD":/workspace -w /workspace -u "$(id -u):$(id -g)" \
ghcr.io/snapdragon-toolchain/arm64-linux:v0.8 \
bash -c "cmake --preset arm64-linux-snapdragon-release -B build-linux && \
cmake --build build-linux -j 8 && \
cmake --install build-linux --prefix pkg-linux/llama.cpp"
# ボードへコピー
scp -r pkg-linux/llama.cpp arduino@<board>:~/llama.cpp/pkg-linux/
ボード上で直接ビルドすることもできますが、x86_64 ツールを QEMU で動かすことになり時間がかかるので、PC でビルドしてコピーするほうを勧めます。
2. NPU を認識させる
実行時に 2 つの準備が要ります。1 つは FastRPC のライブラリ libcdsprpc.so.1 に、llama.cpp が探す libcdsprpc.so という名前でシンボリックリンクを張ること、もう 1 つはライブラリパスの設定です。
PKG=~/llama.cpp/pkg-linux/llama.cpp
ln -sf /lib/aarch64-linux-gnu/libcdsprpc.so.1 "$PKG/lib/libcdsprpc.so"
export LD_LIBRARY_PATH="$PKG/lib:/lib/aarch64-linux-gnu"
export ADSP_LIBRARY_PATH="$PKG/lib"
"$PKG/bin/llama-cli" --list-devices
HTP0: Hexagon と表示されれば NPU が見えています。起動時に FASTRPC_GET_DOMAINS query failed (0x6c), using static CDSP domains というログが出ますが、動作には影響ありませんでした。
3. モデルをダウンロードする
テキスト LLM は Q4_0、VLM は前編と同じ Q4_K_M + mmproj です。
mkdir -p ~/models && cd ~/models
# LFM2.5-1.2B-Instruct(テキスト)
curl -fL -O https://huggingface.co/LiquidAI/LFM2.5-1.2B-Instruct-GGUF/resolve/main/LFM2.5-1.2B-Instruct-Q4_0.gguf
# LFM2.5-VL-450M(VLM)
B=https://huggingface.co/LiquidAI/LFM2.5-VL-450M-GGUF/resolve/main
curl -fL -O $B/LFM2.5-VL-450M-Q4_K_M.gguf
curl -fL -O $B/mmproj-LFM2.5-VL-450m-Q8_0.gguf
# Qwen3-0.6B(テキスト)
curl -fL -O https://huggingface.co/ggml-org/Qwen3-0.6B-GGUF/resolve/main/Qwen3-0.6B-Q4_0.gguf
# Qwen3-VL-2B(VLM)
B=https://huggingface.co/Qwen/Qwen3-VL-2B-Instruct-GGUF/resolve/main
curl -fL -O $B/Qwen3VL-2B-Instruct-Q4_K_M.gguf
curl -fL -O $B/mmproj-Qwen3VL-2B-Instruct-Q8_0.gguf
4. まず動かしてみる
テキスト LLM を NPU で動かします。2. で設定した環境変数(LD_LIBRARY_PATH、ADSP_LIBRARY_PATH)が有効なシェルで実行してください。
cd ~/llama.cpp/pkg-linux/llama.cpp
./bin/llama-cli -m ~/models/LFM2.5-1.2B-Instruct-Q4_0.gguf \
--device HTP0 -ngl 99 -t 4
> 日本語で短く自己紹介してください。
LFM2.5をVENTUNO Q経由でllama.cppで実行、NPUで動作します。
次に VLM です。前編と同じ COCO の猫画像を渡します。
mkdir -p ~/images
curl -fL -o ~/images/coco_cats.jpg \
http://images.cocodataset.org/val2017/000000039769.jpg
./bin/llama-mtmd-cli \
-m ~/models/LFM2.5-VL-450M-Q4_K_M.gguf \
--mmproj ~/models/mmproj-LFM2.5-VL-450m-Q8_0.gguf \
--image ~/images/coco_cats.jpg \
-p "Describe this image in detail." \
-t 4 -n 128 --temp 0 \
--device HTP0 -ngl 99
CPU だけで動かすときは --device HTP0 -ngl 99 の代わりに -dev none -ngl 0(-dev は --device の短縮形)を付けます。VLM では --no-mmproj-offload -mmdev none も足します。
測定方法
テキスト LLM は llama-bench、VLM は llama-server を立てて API 経由で測りました。
| 項目 | 設定 |
|---|---|
| 測定日 | テキスト LLM は 2026-11-10、VLM は 2026-11-02(LFM-VL「画像エンコーダも」行のみ 2026-11-09、その時点の llama.cpp master)。条件間に 30 秒以上のアイドル |
| テキスト LLM |
llama-bench -p 1024 -n 128 -t 4 -r 5(5 サンプルの中央値。llama-bench 既定の平均ではない) |
| VLM |
llama-server -c 4096 -np 1 -t 4 に /v1/chat/completions で画像付きリクエスト |
| 画像 / プロンプト | 猫(640×480)/ Describe this image in detail.
|
| 生成条件 |
max_tokens 128、temperature 0 |
| VLM の回数 | ウォームアップ 1 回を除いて 5 回(Qwen3-VL「LLM のみ」は 3 回) |
| トークン数 | 入力: LFM-VL 252、Qwen3-VL 316(画像込み)。出力: 上限 128。LFM-VL は CPU で 49 トークンで自然終了、Qwen3-VL は上限の 128 に到達 |
| その他 | Flash Attention・KV キャッシュ型・バッチサイズは llama.cpp 既定。CPU governor は schedutil |
| キャッシュ | リクエストに "cache_prompt": false を付け、毎回画像エンコードから実行 |
| 統計 | 中央値 [最小 – 最大] |
| CPU 条件 |
-dev none -ngl 0(VLM は --no-mmproj-offload -mmdev none も)。NPU と同じ Hexagon 対応ビルドを使用 |
| NPU 条件 | --device HTP0 -ngl 99 |
| NPU(LLM のみ)条件 |
--device HTP0 -ngl 99 --no-mmproj-offload -mmdev none(画像エンコーダを CPU に残す) |
| コア固定 | なし(OS 任せ) |
| 温度 | 測定中の CPU 温度は 35〜39 ℃(室温・ヒートシンクのみ) |
いくつか補足します。
TTFT と Decode 速度の定義。 VLM の TTFT はクライアント側で、リクエスト送信から最初のトークンを受け取るまでの時間です。VLM では画像エンコードと Prefill が含まれます。表の「Prefill」と「Decode」の tokens/s は llama-server のログ(prompt eval time / eval time)から取りました。
なぜ cache_prompt を切ったか。 llama-server は同じプロンプトを続けて送るとキャッシュが効き、2 回目以降の TTFT が 0.1 秒程度になります。これでは画像エンコードの時間が見えないので、毎回エンコードからやり直すようにしました。
-c 4096 -np 1 について。 llama-server のデフォルト設定で Qwen3-VL-2B を動かすと KV キャッシュの確保が大きくなり、メモリ不足で落ちました。全条件でコンテキスト長 4096、スロット数 1 に揃えています。
結果 1:テキスト LLM は Prefill が約 17 倍、Decode はモデル次第
| Model | 実行 | Prefill [tok/s] | TTFT(1k トークンのプロンプト) | Decode [tok/s] |
|---|---|---|---|---|
| LFM2.5-1.2B-Instruct Q4_0 | CPU | 88 | 11.6 秒 | 35.4 |
| LFM2.5-1.2B-Instruct Q4_0 | NPU | 1,485 | 0.69 秒 | 41.7 [37.9 – 42.9] |
| Qwen3-0.6B Q4_0 | CPU | 99 | 10.4 秒 | 63.8 |
| Qwen3-0.6B Q4_0 | NPU | 1,779 | 0.58 秒 | 48.2 [48.1 – 62.9] |
llama.cpp の llama-bench -p 1024 -n 128 -t 4 -r 5 で測った 5 回の中央値です。CPU は 4 スレッド、NPU は Hexagon(--device HTP0 -ngl 99)です。Prefill は 1024 トークンのプロンプトを処理する速さ、Decode は 128 トークン生成の速さです。TTFT 列は llama-bench の Prefill 時間(1024 トークンを処理し終えるまで)で、クライアント計測ではありません。[ ] は最小と最大で、ばらつきが小さい行は省いています。
Prefill は NPU が 17〜18 倍で、1k トークンのプロンプトなら CPU の 10 秒超が NPU では 0.6〜0.7 秒になります。一方 Decode は 1.2B で約 1.2 倍、0.6B では中央値で見ると NPU のほうが遅く、ばらつきも大きい結果でした。モデルが小さいほど NPU の利点が出ません。
NPU の電源モードも試しました。ログには HTP0 power mode: burst と出ていて、デフォルトで最大の電力モードになっています。環境変数 GGML_HEXAGON_POWER_MODE で high_performance や burst を明示しても、差はばらつきの範囲内でした。
結果 2:VLM は初回応答が大きく縮む。効いているのは画像エンコーダ
| Model | 実行 | Prefill [tok/s](画像込み) | TTFT(画像 1 枚 + プロンプト) | Decode [tok/s] |
|---|---|---|---|---|
| Qwen3-VL-2B Q4_K_M + mmproj Q8_0 | CPU | 22 | 14.6 秒 | 18.3 |
| 〃 | NPU(LLM のみ。画像エンコーダは CPU) | 30 | 10.6 秒 | 20.4 |
| 〃 | NPU(画像エンコーダも) | 235 | 1.4 秒 | 20.1 |
| LFM2.5-VL-450M Q4_K_M + mmproj Q8_0 | CPU | 86 | 3.0 秒 | 84.5 |
| 〃 | NPU(LLM のみ。画像エンコーダは CPU) | 107 | 2.4 秒 | 70.1 |
| 〃 | NPU(画像エンコーダも) | 669 | 0.48 秒 | 75.8 |
llama.cpp の llama-server に猫画像 1 枚と Describe this image in detail. を送ったときの、ウォームアップ 1 回を除く 5 回の中央値です。入力トークン数は Qwen3-VL が 316、LFM が 252 で、どちらも画像トークンを含みます。LFM の「画像エンコーダも」の行だけは 11 月 9 日時点の llama.cpp での計測です。
VLM を NPU に載せると、画像を渡してから最初のトークンが返るまでが Qwen3-VL-2B で 14.6 秒から 1.4 秒、LFM2.5-VL-450M で 3.0 秒から 0.48 秒に縮みました。Decode は Qwen3-VL で約 1 割上がり、LFM 450M では CPU のほうが速いので、テキスト LLM と同じく小さいモデルでは Decode の利点はありません。
縮んだ時間のほとんどは画像エンコーダの分です。LLM 本体だけを NPU に載せ、画像エンコーダを CPU に残した行(表の 2 行目と 5 行目)は、TTFT が Qwen3-VL-2B で 10.6 秒、LFM 450M で 2.4 秒と、CPU だけのときからあまり縮みません。画像エンコーダも NPU に載せた行との差が、画像エンコードを NPU で行った効果です。VLM で「カメラ画像を渡してからの初動」を速くしたいなら、画像エンコーダを NPU で動かせるかどうかがポイントになります。
考察:NPU は何に効くのか
なぜ Prefill だけ大きく速くなるのか
NPU が効いた場面と効かなかった場面の差は、処理の性質で説明できます。Prefill(プロンプトをまとめて読む処理)は数百トークン分を一度に行列計算するので計算量が支配的です。NPU の積和ユニットがそのまま効いて、17〜18 倍になりました。VLM の画像エンコーダも、画像全体を一度に処理する点で同じ性質です。
Decode(1 トークンずつ生成する処理)のほうは、毎回モデル全体の重みをメモリから読み出す作業が中心なので、速さはメモリ帯域で頭打ちになるはずです。VENTUNO Q では CPU も NPU も同じ LPDDR5 を共有しているため、NPU に載せ替えても帯域は増えません。実測から逆算すると、1.2B Q4_0(約 660 MiB)を 42 tokens/s で生成している NPU は毎秒 28 GB 程度、35 tokens/s の CPU は毎秒 24 GB 程度の重みを読んでいる計算です。さらに 1 トークンごとに NPU へ処理を依頼する往復コストが上乗せされ、小さいモデルほどこの固定費が目立ちます。0.6B では NPU のほうが遅く、1.2B でも 1.2 倍止まり、という結果はこの見方と合いますが、帯域の飽和も往復コストの大きさも測っていないので、ここは推測です。
使い分けの整理
| 速くしたいもの | NPU の効き目 | 今回の例 |
|---|---|---|
| 長いプロンプトの処理(システムプロンプト、RAG) | 大きい(約 17 倍) | LFM 1.2B 1k トークンの TTFT 11.6→0.69 秒 |
| 画像を渡してからの初回応答 | 大きい(画像エンコーダが NPU で動く場合) | Qwen3-VL-2B 14.6→1.4 秒、LFM-VL 450M 3.0→0.48 秒 |
| 1B 超のモデルの連続生成 | 小さい(1.1〜1.2 倍) | LFM 1.2B 35→42 tok/s、Qwen3-VL-2B 18→20 tok/s |
| 1B 未満のモデルの連続生成 | なし(CPU のほうが速い) | Qwen3-0.6B 64→48 tok/s、LFM-VL 450M 85→76 tok/s |
VENTUNO Q で NPU が効くのは、カメラ画像を渡してからの初動を速くしたいときと、プロンプトが長いときです。逆に、短いプロンプトで小さなモデルの生成速度だけが欲しいなら、CPU のままでも困りません。
まとめ
VENTUNO Q の Hexagon NPU に、llama.cpp で LFM2.5 と Qwen3 を載せて CPU と比べました。
- llama.cpp は
--device HTP0 -ngl 99を足すだけで Hexagon NPU を使え、1k トークンのプロンプト処理は CPU の約 17 倍(TTFT 10 秒超 → 0.7 秒以下)になった。生成は 1.2B で約 1.2 倍、0.6B では NPU のほうが遅く、モデルが小さいほど利点が出ない - VLM で速くなるのは主に画像エンコーダで、Qwen3-VL-2B は初回応答が 14.6 秒から 1.4 秒になった
前編では「必要な精度と動かす環境に合わせてモデルを選べばいい」と書きました。NPU についても同じで、「何を速くしたいか」で CPU と使い分けるのがよさそうです。迷ったら「使い分けの整理」の表が目安になります。


