1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Raspberry Pi 4 にAI(LLM)を載せてみる

1
Posted at

はじめに

最近AI激アツって感じで、若干遅い感じもしますが、始めることに遅いはないので。今回はラズパイの上でLLMを動かしてみたいなと思った所存です。安価で軽量なコンピュータ代表のラズパイの上でもLLMが動いたら...なんて考えると夢広がりませんか。やっていきます。

AIとLLM

この2つはごっちゃに認識してる人も多いかもしれないので、一応説明します。AIは人工知能そのものでLLMはその中でも言語処理が得意なモデルです。今回扱うのは日本語対応したLLMですが、基本は英語ですね。

今回やりたいこと

実機環境のメモリがカツカツでかなり限界なので、モデルを量子化して軽くしてから実機に載せようかと思います。

準備

ラズパイの性能の確認

まずはラズパイの実機の性能を確認します。

項目 値
モデル Raspberry Pi 4 Model B
CPU Broadcom BCM2711
コア数 4 コア
クロック数 1.5 GHz
メモリ数 4 GB

メモリのサイズは次で確認できます。

free -h

手元にあるラズパイのメモリは4GBですが、8GBのモデルもあるようなので、そちらも確認してみてください。

載せるLLMについて

日本語扱えるLLMがいいので、今回は中国の企業であるAlibaba Cloudが開発しているQwenを使おうかなと。で、一番新しいモデルのQwen3にしたい。

Bってなんぞや

調べるとLLMにはBって単位ついてると思います。これはモデルの内部で調整される変数(パラメータ)の数です。Bは単にBillionを表します(億ですよ)。ちなみに、必要メモリ数の目安はこのBの値を2倍にしたくらいです。

量子化について

モデルが内部に持っている数値の表現をより低い数値精度で表現することを量子化といいます。これにより、モデルサイズが縮小し、消費メモリ量が減ります。また、計算処理の回数も減るので、結果的に推論速度が向上します。ただ推論の精度が落ちるので、精度と速度のGive and take ですね。

結論

ラズパイのメモリ数も鑑みるとQwen3 1.7B-Q4_K_Mがよさそうですね。Qwen3 1.7Bままだとメモリを3.45GB使うので、4GBのラズパイだと厳しい。ここで量子化してQ4_K_Mにすると1.4GBくらいで動くらしい。かなり限界構成味を感じる。

Qwenの各モデルのメモリ使用量表を量子化込みでAIに作らせたのでぜひ参考にしてください

載せてみる

LLMの量子化

量子化はメモリに余裕がないとできないので、限界ラズパイの上では行えません。なので仮想マシンで量子化してからラズパイに移そうかと思います。Ubuntu 24.04 LTSでメモリは10GBくらい積んどきます。

llama.cppの準備

sudo apt update
sudo apt install -y git cmake build-essential python3 python3-pip

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp

python3 -m pip install -r requirements.txt --break-system-packages

cmake -B build
cmake --build build --config Release -j 4

llama.cppのビルドにはcmakeを用います。

Qwen3-1.7Bのインストール

python3 -m pip install -U "huggingface_hub[cli]" --break-system-packages

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

hf download Qwen/Qwen3-1.7B --local-dir ./models/Qwen3-1.7B

HFモデルを GGUF に変換する

python3 convert_hf_to_gguf.py ./models/Qwen3-1.7B

ls -lh ./models/Qwen3-1.7B

Hugging FaceはAI分野のGit hubみたいな立ち位置で事前学習済みモデルが無料で公開されています。Pythonコードで最新AIを開発・実装できるので超お手軽。GGUF(GPT-Generated Unified Format)は主にllama.cppでローカルLLMを動かすための高速かつ汎用的なファイル形式で、モデルとメタデータを1ファイルにまとめて高速読み込みを実現します。

Q4_K_M に量子化する

QUANT=$(find build -type f -name llama-quantize | head -n 1)
echo "$QUANT"

"$QUANT" \
  ./models/Qwen3-1.7B/Qwen3-1.7B-BF16.gguf \
  ./models/Qwen3-1.7B/Qwen3-1.7B-Q4_K_M.gguf \
  Q4_K_M

ls -lh ./models/Qwen3-1.7B/Qwen3-1.7B-Q4_K_M.gguf

試運転

実際に動かしてみよう。

cd ~/llama.cpp

./build/bin/llama-cli \
  -m ./models/Qwen3-1.7B/Qwen3-1.7B-Q4_K_M.gguf \
  --jinja \
  -sys "/no_think" \
  -c 4096 \
  -n 512

次のような画面が表示されたら成功です。

Loading model...  


▄▄ ▄▄
██ ██
██ ██  ▀▀█▄ ███▄███▄  ▀▀█▄    ▄████ ████▄ ████▄
██ ██ ▄█▀██ ██ ██ ██ ▄█▀██    ██    ██ ██ ██ ██
██ ██ ▀█▄██ ██ ██ ██ ▀█▄██ ██ ▀████ ████▀ ████▀
                                    ██    ██
                                    ▀▀    ▀▀

build      : b8863-97895129e
model      : Qwen3-1.7B-Q4_K_M.gguf
modalities : text
using custom system prompt

available commands:
  /exit or Ctrl+C     stop or exit
  /regen              regenerate the last response
  /clear              clear the chat history
  /read <file>        add a text file
  /glob <pattern>     add text files using globbing pattern


>

以下は10回試した結果です。Promptは入力を読む速さ、Generationは返答を書く速さを表しています。

回数 Prompt [t/s] Generation [t/s]
1 118.6 13.7
2 127.4 13.5
3 127.5 13.3
4 117.8 13.7
5 129.6 13.3
6 95.1 12.9
7 79.5 13.1
8 154.1 12.7
9 99.6 13.0
10 155.4 12.6
平均 120.46 11.85

使ってみた感じかなり早いですね。想定ではGenerationが0.5[t/s]で動く予定でした。実機環境ではないとはいえ、かなり期待が持てそう。

量子化したモデルの回収

仮想環境にあるままでは使えないので、一回ローカルに落としてからラズパイに引き渡そうと思います。

sftp hostname@ipaddress
sftp> cd llama.cpp/models/Qwen3-1.7B
sftp> get Qwen3-1.7B-Q4_K_M.gguf
sftp> bye

これでローカルに落とすことができました。基本はこれ一個でokです。

ラズパイの準備

ラズパイにはUbuntu 24.04 LTSを載せます。仮想環境と同じものがいいでしょう。

sudo apt update
sudo apt upgrade -y
sudo apt install -y build-essential cmake git

llama.cppのビルド

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build --config Release -j4

モデルを置く

まずはラズパイ側でディレクトリを作る

mkdir -p ~/llama.cpp/models/Qwen3-1.7B

ローカルからラズパイ側に量子化済みのモデルを投げます

sftp hostname@ipaddress
sftp> cd llama.cpp/models/Qwen3-1.7B
sftp> put Qwen3-1.7B-Q4_K_M.gguf
sftp> bye

いざ起動へ

実際に動かしてみます。最初は軽くで動かす。

cd ~/llama.cpp

./build/bin/llama-cli \
  -m ./models/Qwen3-1.7B/Qwen3-1.7B-Q4_K_M.gguf \
  --jinja \
  -sys "/no_think" \
  -c 2048 \
  -n 256

起動しました...! (感動)

Loading model...  


▄▄ ▄▄
██ ██
██ ██  ▀▀█▄ ███▄███▄  ▀▀█▄    ▄████ ████▄ ████▄
██ ██ ▄█▀██ ██ ██ ██ ▄█▀██    ██    ██ ██ ██ ██
██ ██ ▀█▄██ ██ ██ ██ ▀█▄██ ██ ▀████ ████▀ ████▀
                                    ██    ██
                                    ▀▀    ▀▀

build      : b8873-52f1096f2
model      : Qwen3-1.7B-Q4_K_M.gguf
modalities : text
using custom system prompt

available commands:
  /exit or Ctrl+C     stop or exit
  /regen              regenerate the last response
  /clear              clear the chat history
  /read <file>        add a text file
  /glob <pattern>     add text files using globbing pattern


>

簡単な質問をしてみて生成速度を確認します。

> 自己紹介して

はじめまして!私はAIアシスタントで、名前は「AI assistant」です。私はさまざまなタスクをサポートすることができます。例えば、翻訳、資料の整理、言葉の練習、会議の準備、カスタムなツールの作成など、あなたのニーズに合わせてお手伝いできます。

もし何か具体的な質問やお願いがあれば、ぜひ教えてください!

[ Prompt: 8.0 t/s | Generation: 3.0 t/s ]

3.0[t/s]でした。かなり耐えです。許容です。ラズパイでここまでできるとは。

まとめ

ラズパイにLLMを載せるという試み、かなり好感触でした。今回はラズパイ4のメモリ4GBだったのでかなりカツカツにはなってしまったのですが、メモリサイズが大きければ大きいほど、その分高精度なLLMを載せることができるので、みなさんはそちらで遊んでください。

参考

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?