はじめに
最近AI激アツって感じで、若干遅い感じもしますが、始めることに遅いはないので。今回はラズパイの上でLLMを動かしてみたいなと思った所存です。安価で軽量なコンピュータ代表のラズパイの上でもLLMが動いたら...なんて考えると夢広がりませんか。やっていきます。
AIとLLM
この2つはごっちゃに認識してる人も多いかもしれないので、一応説明します。AIは人工知能そのものでLLMはその中でも言語処理が得意なモデルです。今回扱うのは日本語対応したLLMですが、基本は英語ですね。
今回やりたいこと
実機環境のメモリがカツカツでかなり限界なので、モデルを量子化して軽くしてから実機に載せようかと思います。
準備
ラズパイの性能の確認
まずはラズパイの実機の性能を確認します。
| 項目 | 値 |
|---|---|
| モデル | Raspberry Pi 4 Model B |
| CPU | Broadcom BCM2711 |
| コア数 | 4 コア |
| クロック数 | 1.5 GHz |
| メモリ数 | 4 GB |
メモリのサイズは次で確認できます。
free -h
手元にあるラズパイのメモリは4GBですが、8GBのモデルもあるようなので、そちらも確認してみてください。
載せるLLMについて
日本語扱えるLLMがいいので、今回は中国の企業であるAlibaba Cloudが開発しているQwenを使おうかなと。で、一番新しいモデルのQwen3にしたい。
Bってなんぞや
調べるとLLMにはBって単位ついてると思います。これはモデルの内部で調整される変数(パラメータ)の数です。Bは単にBillionを表します(億ですよ)。ちなみに、必要メモリ数の目安はこのBの値を2倍にしたくらいです。
量子化について
モデルが内部に持っている数値の表現をより低い数値精度で表現することを量子化といいます。これにより、モデルサイズが縮小し、消費メモリ量が減ります。また、計算処理の回数も減るので、結果的に推論速度が向上します。ただ推論の精度が落ちるので、精度と速度のGive and take ですね。
結論
ラズパイのメモリ数も鑑みるとQwen3 1.7B-Q4_K_Mがよさそうですね。Qwen3 1.7Bままだとメモリを3.45GB使うので、4GBのラズパイだと厳しい。ここで量子化してQ4_K_Mにすると1.4GBくらいで動くらしい。かなり限界構成味を感じる。
Qwenの各モデルのメモリ使用量表を量子化込みでAIに作らせたのでぜひ参考にしてください
載せてみる
LLMの量子化
量子化はメモリに余裕がないとできないので、限界ラズパイの上では行えません。なので仮想マシンで量子化してからラズパイに移そうかと思います。Ubuntu 24.04 LTSでメモリは10GBくらい積んどきます。
llama.cppの準備
sudo apt update
sudo apt install -y git cmake build-essential python3 python3-pip
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
python3 -m pip install -r requirements.txt --break-system-packages
cmake -B build
cmake --build build --config Release -j 4
llama.cppのビルドにはcmakeを用います。
Qwen3-1.7Bのインストール
python3 -m pip install -U "huggingface_hub[cli]" --break-system-packages
echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc
hf download Qwen/Qwen3-1.7B --local-dir ./models/Qwen3-1.7B
HFモデルを GGUF に変換する
python3 convert_hf_to_gguf.py ./models/Qwen3-1.7B
ls -lh ./models/Qwen3-1.7B
Hugging FaceはAI分野のGit hubみたいな立ち位置で事前学習済みモデルが無料で公開されています。Pythonコードで最新AIを開発・実装できるので超お手軽。GGUF(GPT-Generated Unified Format)は主にllama.cppでローカルLLMを動かすための高速かつ汎用的なファイル形式で、モデルとメタデータを1ファイルにまとめて高速読み込みを実現します。
Q4_K_M に量子化する
QUANT=$(find build -type f -name llama-quantize | head -n 1)
echo "$QUANT"
"$QUANT" \
./models/Qwen3-1.7B/Qwen3-1.7B-BF16.gguf \
./models/Qwen3-1.7B/Qwen3-1.7B-Q4_K_M.gguf \
Q4_K_M
ls -lh ./models/Qwen3-1.7B/Qwen3-1.7B-Q4_K_M.gguf
試運転
実際に動かしてみよう。
cd ~/llama.cpp
./build/bin/llama-cli \
-m ./models/Qwen3-1.7B/Qwen3-1.7B-Q4_K_M.gguf \
--jinja \
-sys "/no_think" \
-c 4096 \
-n 512
次のような画面が表示されたら成功です。
Loading model...
▄▄ ▄▄
██ ██
██ ██ ▀▀█▄ ███▄███▄ ▀▀█▄ ▄████ ████▄ ████▄
██ ██ ▄█▀██ ██ ██ ██ ▄█▀██ ██ ██ ██ ██ ██
██ ██ ▀█▄██ ██ ██ ██ ▀█▄██ ██ ▀████ ████▀ ████▀
██ ██
▀▀ ▀▀
build : b8863-97895129e
model : Qwen3-1.7B-Q4_K_M.gguf
modalities : text
using custom system prompt
available commands:
/exit or Ctrl+C stop or exit
/regen regenerate the last response
/clear clear the chat history
/read <file> add a text file
/glob <pattern> add text files using globbing pattern
>
以下は10回試した結果です。Promptは入力を読む速さ、Generationは返答を書く速さを表しています。
| 回数 | Prompt [t/s] | Generation [t/s] |
|---|---|---|
| 1 | 118.6 | 13.7 |
| 2 | 127.4 | 13.5 |
| 3 | 127.5 | 13.3 |
| 4 | 117.8 | 13.7 |
| 5 | 129.6 | 13.3 |
| 6 | 95.1 | 12.9 |
| 7 | 79.5 | 13.1 |
| 8 | 154.1 | 12.7 |
| 9 | 99.6 | 13.0 |
| 10 | 155.4 | 12.6 |
| 平均 | 120.46 | 11.85 |
使ってみた感じかなり早いですね。想定ではGenerationが0.5[t/s]で動く予定でした。実機環境ではないとはいえ、かなり期待が持てそう。
量子化したモデルの回収
仮想環境にあるままでは使えないので、一回ローカルに落としてからラズパイに引き渡そうと思います。
sftp hostname@ipaddress
sftp> cd llama.cpp/models/Qwen3-1.7B
sftp> get Qwen3-1.7B-Q4_K_M.gguf
sftp> bye
これでローカルに落とすことができました。基本はこれ一個でokです。
ラズパイの準備
ラズパイにはUbuntu 24.04 LTSを載せます。仮想環境と同じものがいいでしょう。
sudo apt update
sudo apt upgrade -y
sudo apt install -y build-essential cmake git
llama.cppのビルド
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build --config Release -j4
モデルを置く
まずはラズパイ側でディレクトリを作る
mkdir -p ~/llama.cpp/models/Qwen3-1.7B
ローカルからラズパイ側に量子化済みのモデルを投げます
sftp hostname@ipaddress
sftp> cd llama.cpp/models/Qwen3-1.7B
sftp> put Qwen3-1.7B-Q4_K_M.gguf
sftp> bye
いざ起動へ
実際に動かしてみます。最初は軽くで動かす。
cd ~/llama.cpp
./build/bin/llama-cli \
-m ./models/Qwen3-1.7B/Qwen3-1.7B-Q4_K_M.gguf \
--jinja \
-sys "/no_think" \
-c 2048 \
-n 256
起動しました...! (感動)
Loading model...
▄▄ ▄▄
██ ██
██ ██ ▀▀█▄ ███▄███▄ ▀▀█▄ ▄████ ████▄ ████▄
██ ██ ▄█▀██ ██ ██ ██ ▄█▀██ ██ ██ ██ ██ ██
██ ██ ▀█▄██ ██ ██ ██ ▀█▄██ ██ ▀████ ████▀ ████▀
██ ██
▀▀ ▀▀
build : b8873-52f1096f2
model : Qwen3-1.7B-Q4_K_M.gguf
modalities : text
using custom system prompt
available commands:
/exit or Ctrl+C stop or exit
/regen regenerate the last response
/clear clear the chat history
/read <file> add a text file
/glob <pattern> add text files using globbing pattern
>
簡単な質問をしてみて生成速度を確認します。
> 自己紹介して
はじめまして!私はAIアシスタントで、名前は「AI assistant」です。私はさまざまなタスクをサポートすることができます。例えば、翻訳、資料の整理、言葉の練習、会議の準備、カスタムなツールの作成など、あなたのニーズに合わせてお手伝いできます。
もし何か具体的な質問やお願いがあれば、ぜひ教えてください!
[ Prompt: 8.0 t/s | Generation: 3.0 t/s ]
3.0[t/s]でした。かなり耐えです。許容です。ラズパイでここまでできるとは。
まとめ
ラズパイにLLMを載せるという試み、かなり好感触でした。今回はラズパイ4のメモリ4GBだったのでかなりカツカツにはなってしまったのですが、メモリサイズが大きければ大きいほど、その分高精度なLLMを載せることができるので、みなさんはそちらで遊んでください。
参考