0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

NPUは何に効く?Arduino VENTUNO Q × LFM2.5 / Qwen3でHexagon NPUとCPUを比べてみた

0
Posted at

はじめに

Arduino の VENTUNO Q の Hexagon NPU に llama.cpp で LFM2.5 と Qwen3 を載せ、同じボードの CPU と比べたところ、プロンプト処理は約 17 倍、画像を渡してからの初回応答は Qwen3-VL-2B で 14.6 秒から 1.4 秒になりました。NPU が何に効いて何に効かないのかを、数字で確かめていきます。

前編では、Raspberry Pi 5 の CPU だけで Liquid AI の VLM LFM2.5-VL を動かし、450M なら 40 tokens/s 前後で生成できる一方、画像を渡してから最初のトークンが返るまで(TTFT)に 3.5 秒、1.6B では 14 秒かかりました。カメラで見たものにすぐ反応してほしい用途だと、この「最初の一言までの待ち時間」が気になります。前編の最後に「NPU などのアクセラレータを使った場合も見ていきたい」と書いたので、今回はその続きです。

VENTUNO Q の SoC は Qualcomm Dragonwing IQ8 で、この中に Hexagon NPU が入っています。llama.cpp には Hexagon バックエンドがあり、起動オプションに --device HTP0 -ngl 99 を足すだけでモデルを NPU に載せられます。

先に結論を書いておきます。

  • プロンプト処理(Prefill)は CPU の約 17 倍。1k トークンのプロンプトなら TTFT が 10 秒超から 0.7 秒以下になる。生成(Decode)は 1.2B で約 1.2 倍、0.6B では NPU のほうが遅い
  • VLM で速くなるのは主に画像エンコーダ。LLM 本体だけを NPU に載せても初回応答はあまり縮まない

Arduino VENTUNO Q とは

VENTUNO Q は、Arduino が 2026 年に出したエッジ AI・ロボティクス向けのシングルボードコンピュータです。Linux が動く MPU(Qualcomm Dragonwing IQ8)と Arduino スケッチが動く MCU(STM32H5)を載せていますが、今回使うのは MPU 側だけです。公式 FAQ にも llama.cpp と GGUF モデルによる LLM 推論への対応が明記されています。

項目 構成
SoC Qualcomm Dragonwing IQ8(IQ-8275)
CPU 8 コア。Cortex-A78C ×4(最大 2.36 GHz)+ Cortex-A55 ×4(最大 1.96 GHz)の big.LITTLE
NPU Qualcomm Hexagon、最大 40 dense TOPS。llama.cpp 上では HTP0、アーキテクチャ v75
GPU Adreno 623(今回は使いません)
RAM 16 GB LPDDR5(CPU / GPU / NPU で共有)
OS Ubuntu 24.04.4 LTS(kernel 6.8.0-1084-qcom)
推論エンジン llama.cpp(2026 年 10 月 25 日時点の master)、モデル形式は GGUF

llama.cpp で NPU(Hexagon)を使う仕組み

llama.cpp には Snapdragon 系 SoC の Hexagon NPU 向けバックエンドがあります(docs/backend/snapdragon)。起動ログにも Hexagon backend (experimental) と出るとおり、まだ実験的な扱いです。

使い方と制約は次のとおりです。

  • NPU は HTP0 という名前のデバイスとして見えます。README によると Hexagon は llama.cpp 上で「GPU デバイスとして振る舞う」ので、GPU に載せる層数を指定する -ngl をそのまま使い、--device HTP0 -ngl 99 で全層を NPU に載せます。
  • 載せた層は Prefill(プロンプト処理)も Decode(1 トークンずつの生成)も NPU 上で動きます。NPU 側が対応していない演算は自動的に CPU に戻されます。今回のモデルでは VLM の画像エンコーダ(mmproj)の一部の演算が該当し、起動時に unsupported operators の警告が出ますが、動作に問題はありません。LLM 本体の演算は、LFM2 固有の演算(Shortconv)も含めてすべて NPU で動いていました。
  • 量子化は Q4_0 が基本です。Hexagon バックエンドは Q4_0 などの重みを読み込み時に NPU 向けの並びに詰め直す作りで、公式 README の例も Q4_0 なので、テキスト LLM は Q4_0 を使いました。VLM 本体は前編と条件を揃えるため Q4_K_M ですが、Q4_K_M の行列積も NPU で実行されていました。
  • 1 つの NPU セッションが扱えるメモリは約 3.5 GB です(今回の環境では約 3.1 GiB と表示されました)。今回のモデルは最大でも 2B + mmproj で 2 GB 弱なので、この範囲に収まります。

記事中の用語をまとめておきます。

用語 説明
HTP0 llama.cpp が列挙する Hexagon NPU のデバイス名。HTP は Hexagon Tensor Processor の略
-ngl NPU(GPU 扱い)に載せる層の数。99 で全層
Prefill プロンプト全体をまとめて処理する段階。長いほど時間がかかる
Decode 1 トークンずつ生成する段階。tokens/s はここの速さ
TTFT リクエストを送ってから最初のトークンが返るまでの時間。VLM では画像エンコードと Prefill が含まれる
mmproj 画像エンコーダとプロジェクタをまとめた GGUF。VLM で本体と一緒に読み込む
FastRPC CPU 側から NPU に処理を依頼する仕組み。ライブラリは libcdsprpc.so

実際に動かしてみる

1. Hexagon 対応 llama.cpp をビルドする

Hexagon バックエンドを有効にしたビルドには Hexagon SDK が必要で、SDK に含まれるツール(qaic、hexagon-clang)は x86_64 バイナリです。そのため、x86_64 の PC 上で Docker を使ってビルドし、できたパッケージをボードにコピーするのが一番楽です。公式が用意している Docker イメージと CMake プリセットを使います。

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp

docker run --rm --platform linux/amd64 \
  -v "$PWD":/workspace -w /workspace -u "$(id -u):$(id -g)" \
  ghcr.io/snapdragon-toolchain/arm64-linux:v0.8 \
  bash -c "cmake --preset arm64-linux-snapdragon-release -B build-linux && \
           cmake --build build-linux -j 8 && \
           cmake --install build-linux --prefix pkg-linux/llama.cpp"

# ボードへコピー
scp -r pkg-linux/llama.cpp arduino@<board>:~/llama.cpp/pkg-linux/

ボード上で直接ビルドすることもできますが、x86_64 ツールを QEMU で動かすことになり時間がかかるので、PC でビルドしてコピーするほうを勧めます。

2. NPU を認識させる

実行時に 2 つの準備が要ります。1 つは FastRPC のライブラリ libcdsprpc.so.1 に、llama.cpp が探す libcdsprpc.so という名前でシンボリックリンクを張ること、もう 1 つはライブラリパスの設定です。

PKG=~/llama.cpp/pkg-linux/llama.cpp
ln -sf /lib/aarch64-linux-gnu/libcdsprpc.so.1 "$PKG/lib/libcdsprpc.so"

export LD_LIBRARY_PATH="$PKG/lib:/lib/aarch64-linux-gnu"
export ADSP_LIBRARY_PATH="$PKG/lib"

"$PKG/bin/llama-cli" --list-devices

HTP0: Hexagon と表示されれば NPU が見えています。起動時に FASTRPC_GET_DOMAINS query failed (0x6c), using static CDSP domains というログが出ますが、動作には影響ありませんでした。

3. モデルをダウンロードする

テキスト LLM は Q4_0、VLM は前編と同じ Q4_K_M + mmproj です。

mkdir -p ~/models && cd ~/models

# LFM2.5-1.2B-Instruct(テキスト)
curl -fL -O https://huggingface.co/LiquidAI/LFM2.5-1.2B-Instruct-GGUF/resolve/main/LFM2.5-1.2B-Instruct-Q4_0.gguf

# LFM2.5-VL-450M(VLM)
B=https://huggingface.co/LiquidAI/LFM2.5-VL-450M-GGUF/resolve/main
curl -fL -O $B/LFM2.5-VL-450M-Q4_K_M.gguf
curl -fL -O $B/mmproj-LFM2.5-VL-450m-Q8_0.gguf

# Qwen3-0.6B(テキスト)
curl -fL -O https://huggingface.co/ggml-org/Qwen3-0.6B-GGUF/resolve/main/Qwen3-0.6B-Q4_0.gguf

# Qwen3-VL-2B(VLM)
B=https://huggingface.co/Qwen/Qwen3-VL-2B-Instruct-GGUF/resolve/main
curl -fL -O $B/Qwen3VL-2B-Instruct-Q4_K_M.gguf
curl -fL -O $B/mmproj-Qwen3VL-2B-Instruct-Q8_0.gguf

4. まず動かしてみる

テキスト LLM を NPU で動かします。2. で設定した環境変数(LD_LIBRARY_PATH、ADSP_LIBRARY_PATH)が有効なシェルで実行してください。

cd ~/llama.cpp/pkg-linux/llama.cpp
./bin/llama-cli -m ~/models/LFM2.5-1.2B-Instruct-Q4_0.gguf \
  --device HTP0 -ngl 99 -t 4
> 日本語で短く自己紹介してください。
LFM2.5をVENTUNO Q経由でllama.cppで実行、NPUで動作します。

次に VLM です。前編と同じ COCO の猫画像を渡します。

COCOの猫の画像

mkdir -p ~/images
curl -fL -o ~/images/coco_cats.jpg \
  http://images.cocodataset.org/val2017/000000039769.jpg

./bin/llama-mtmd-cli \
  -m ~/models/LFM2.5-VL-450M-Q4_K_M.gguf \
  --mmproj ~/models/mmproj-LFM2.5-VL-450m-Q8_0.gguf \
  --image ~/images/coco_cats.jpg \
  -p "Describe this image in detail." \
  -t 4 -n 128 --temp 0 \
  --device HTP0 -ngl 99

CPU だけで動かすときは --device HTP0 -ngl 99 の代わりに -dev none -ngl 0(-dev は --device の短縮形)を付けます。VLM では --no-mmproj-offload -mmdev none も足します。

測定方法

テキスト LLM は llama-bench、VLM は llama-server を立てて API 経由で測りました。

項目 設定
測定日 テキスト LLM は 2026-11-10、VLM は 2026-11-02(LFM-VL「画像エンコーダも」行のみ 2026-11-09、その時点の llama.cpp master)。条件間に 30 秒以上のアイドル
テキスト LLM llama-bench -p 1024 -n 128 -t 4 -r 5(5 サンプルの中央値。llama-bench 既定の平均ではない)
VLM llama-server -c 4096 -np 1 -t 4 に /v1/chat/completions で画像付きリクエスト
画像 / プロンプト 猫(640×480)/ Describe this image in detail.
生成条件 max_tokens 128、temperature 0
VLM の回数 ウォームアップ 1 回を除いて 5 回(Qwen3-VL「LLM のみ」は 3 回)
トークン数 入力: LFM-VL 252、Qwen3-VL 316(画像込み)。出力: 上限 128。LFM-VL は CPU で 49 トークンで自然終了、Qwen3-VL は上限の 128 に到達
その他 Flash Attention・KV キャッシュ型・バッチサイズは llama.cpp 既定。CPU governor は schedutil
キャッシュ リクエストに "cache_prompt": false を付け、毎回画像エンコードから実行
統計 中央値 [最小 – 最大]
CPU 条件 -dev none -ngl 0(VLM は --no-mmproj-offload -mmdev none も)。NPU と同じ Hexagon 対応ビルドを使用
NPU 条件 --device HTP0 -ngl 99
NPU(LLM のみ)条件 --device HTP0 -ngl 99 --no-mmproj-offload -mmdev none(画像エンコーダを CPU に残す)
コア固定 なし(OS 任せ)
温度 測定中の CPU 温度は 35〜39 ℃(室温・ヒートシンクのみ)

いくつか補足します。

TTFT と Decode 速度の定義。 VLM の TTFT はクライアント側で、リクエスト送信から最初のトークンを受け取るまでの時間です。VLM では画像エンコードと Prefill が含まれます。表の「Prefill」と「Decode」の tokens/s は llama-server のログ(prompt eval time / eval time)から取りました。

なぜ cache_prompt を切ったか。 llama-server は同じプロンプトを続けて送るとキャッシュが効き、2 回目以降の TTFT が 0.1 秒程度になります。これでは画像エンコードの時間が見えないので、毎回エンコードからやり直すようにしました。

-c 4096 -np 1 について。 llama-server のデフォルト設定で Qwen3-VL-2B を動かすと KV キャッシュの確保が大きくなり、メモリ不足で落ちました。全条件でコンテキスト長 4096、スロット数 1 に揃えています。

結果 1:テキスト LLM は Prefill が約 17 倍、Decode はモデル次第

Model 実行 Prefill [tok/s] TTFT(1k トークンのプロンプト) Decode [tok/s]
LFM2.5-1.2B-Instruct Q4_0 CPU 88 11.6 秒 35.4
LFM2.5-1.2B-Instruct Q4_0 NPU 1,485 0.69 秒 41.7 [37.9 – 42.9]
Qwen3-0.6B Q4_0 CPU 99 10.4 秒 63.8
Qwen3-0.6B Q4_0 NPU 1,779 0.58 秒 48.2 [48.1 – 62.9]

テキスト LLM の Prefill / TTFT / Decode(CPU vs NPU)

llama.cpp の llama-bench -p 1024 -n 128 -t 4 -r 5 で測った 5 回の中央値です。CPU は 4 スレッド、NPU は Hexagon(--device HTP0 -ngl 99)です。Prefill は 1024 トークンのプロンプトを処理する速さ、Decode は 128 トークン生成の速さです。TTFT 列は llama-bench の Prefill 時間(1024 トークンを処理し終えるまで)で、クライアント計測ではありません。[ ] は最小と最大で、ばらつきが小さい行は省いています。

Prefill は NPU が 17〜18 倍で、1k トークンのプロンプトなら CPU の 10 秒超が NPU では 0.6〜0.7 秒になります。一方 Decode は 1.2B で約 1.2 倍、0.6B では中央値で見ると NPU のほうが遅く、ばらつきも大きい結果でした。モデルが小さいほど NPU の利点が出ません。

NPU の電源モードも試しました。ログには HTP0 power mode: burst と出ていて、デフォルトで最大の電力モードになっています。環境変数 GGML_HEXAGON_POWER_MODE で high_performance や burst を明示しても、差はばらつきの範囲内でした。

結果 2:VLM は初回応答が大きく縮む。効いているのは画像エンコーダ

Model 実行 Prefill [tok/s](画像込み) TTFT(画像 1 枚 + プロンプト) Decode [tok/s]
Qwen3-VL-2B Q4_K_M + mmproj Q8_0 CPU 22 14.6 秒 18.3
〃 NPU(LLM のみ。画像エンコーダは CPU) 30 10.6 秒 20.4
〃 NPU(画像エンコーダも) 235 1.4 秒 20.1
LFM2.5-VL-450M Q4_K_M + mmproj Q8_0 CPU 86 3.0 秒 84.5
〃 NPU(LLM のみ。画像エンコーダは CPU) 107 2.4 秒 70.1
〃 NPU(画像エンコーダも) 669 0.48 秒 75.8

VLM の Prefill / TTFT / Decode(CPU vs NPU)

llama.cpp の llama-server に猫画像 1 枚と Describe this image in detail. を送ったときの、ウォームアップ 1 回を除く 5 回の中央値です。入力トークン数は Qwen3-VL が 316、LFM が 252 で、どちらも画像トークンを含みます。LFM の「画像エンコーダも」の行だけは 11 月 9 日時点の llama.cpp での計測です。

VLM を NPU に載せると、画像を渡してから最初のトークンが返るまでが Qwen3-VL-2B で 14.6 秒から 1.4 秒、LFM2.5-VL-450M で 3.0 秒から 0.48 秒に縮みました。Decode は Qwen3-VL で約 1 割上がり、LFM 450M では CPU のほうが速いので、テキスト LLM と同じく小さいモデルでは Decode の利点はありません。

縮んだ時間のほとんどは画像エンコーダの分です。LLM 本体だけを NPU に載せ、画像エンコーダを CPU に残した行(表の 2 行目と 5 行目)は、TTFT が Qwen3-VL-2B で 10.6 秒、LFM 450M で 2.4 秒と、CPU だけのときからあまり縮みません。画像エンコーダも NPU に載せた行との差が、画像エンコードを NPU で行った効果です。VLM で「カメラ画像を渡してからの初動」を速くしたいなら、画像エンコーダを NPU で動かせるかどうかがポイントになります。

考察:NPU は何に効くのか

なぜ Prefill だけ大きく速くなるのか

NPU が効いた場面と効かなかった場面の差は、処理の性質で説明できます。Prefill(プロンプトをまとめて読む処理)は数百トークン分を一度に行列計算するので計算量が支配的です。NPU の積和ユニットがそのまま効いて、17〜18 倍になりました。VLM の画像エンコーダも、画像全体を一度に処理する点で同じ性質です。

Decode(1 トークンずつ生成する処理)のほうは、毎回モデル全体の重みをメモリから読み出す作業が中心なので、速さはメモリ帯域で頭打ちになるはずです。VENTUNO Q では CPU も NPU も同じ LPDDR5 を共有しているため、NPU に載せ替えても帯域は増えません。実測から逆算すると、1.2B Q4_0(約 660 MiB)を 42 tokens/s で生成している NPU は毎秒 28 GB 程度、35 tokens/s の CPU は毎秒 24 GB 程度の重みを読んでいる計算です。さらに 1 トークンごとに NPU へ処理を依頼する往復コストが上乗せされ、小さいモデルほどこの固定費が目立ちます。0.6B では NPU のほうが遅く、1.2B でも 1.2 倍止まり、という結果はこの見方と合いますが、帯域の飽和も往復コストの大きさも測っていないので、ここは推測です。

使い分けの整理

速くしたいもの NPU の効き目 今回の例
長いプロンプトの処理(システムプロンプト、RAG) 大きい(約 17 倍) LFM 1.2B 1k トークンの TTFT 11.6→0.69 秒
画像を渡してからの初回応答 大きい(画像エンコーダが NPU で動く場合) Qwen3-VL-2B 14.6→1.4 秒、LFM-VL 450M 3.0→0.48 秒
1B 超のモデルの連続生成 小さい(1.1〜1.2 倍) LFM 1.2B 35→42 tok/s、Qwen3-VL-2B 18→20 tok/s
1B 未満のモデルの連続生成 なし(CPU のほうが速い) Qwen3-0.6B 64→48 tok/s、LFM-VL 450M 85→76 tok/s

VENTUNO Q で NPU が効くのは、カメラ画像を渡してからの初動を速くしたいときと、プロンプトが長いときです。逆に、短いプロンプトで小さなモデルの生成速度だけが欲しいなら、CPU のままでも困りません。

まとめ

VENTUNO Q の Hexagon NPU に、llama.cpp で LFM2.5 と Qwen3 を載せて CPU と比べました。

  • llama.cpp は --device HTP0 -ngl 99 を足すだけで Hexagon NPU を使え、1k トークンのプロンプト処理は CPU の約 17 倍(TTFT 10 秒超 → 0.7 秒以下)になった。生成は 1.2B で約 1.2 倍、0.6B では NPU のほうが遅く、モデルが小さいほど利点が出ない
  • VLM で速くなるのは主に画像エンコーダで、Qwen3-VL-2B は初回応答が 14.6 秒から 1.4 秒になった

前編では「必要な精度と動かす環境に合わせてモデルを選べばいい」と書きました。NPU についても同じで、「何を速くしたいか」で CPU と使い分けるのがよさそうです。迷ったら「使い分けの整理」の表が目安になります。

参考リンク

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?