LLMを動かすフレームワークとしてonnxruntime-genaiがあります。
RaspberryPiでも利用できるのですが、バイナリは提供されていなくソースコードからビルドする必要があります。
今回はビルドの手順と最新のモデル（Phi4-min）を使ったサンプルの紹介をします。
使用するハードウェア
・RaspberryPi5 8GB
・SSD（なるべく速いストレージ）
SDでも大丈夫ですが、時間がかかるのでなるべくSSDを使う方がいいと思います。
ソフトウェア
・RaspberryPi OS 64bit
・onnxruntime 最新版
・CMake 最新版
パッケージ版のCMakeは少し古くてビルドに失敗するので、最新版をソースコードからインストールしてください。
こちらで手順を説明しています。
ビルド
任意のディレクトリにonnxruntime-genaiのレポジトリをクローンします。
$ git clone https://github.com/microsoft/onnxruntime-genai
$ cd onnxruntime-genai
onnxruntimeも必要なので最新版のバイナリをダウンロードします。
ダウンロード後解凍してからortディレクトリに移動させておきます。
$ curl -L https://github.com/microsoft/onnxruntime/releases/download/v1.21.0/onnxruntime-linux-aarch64-1.21.0.tgz -o onnxruntime-linux-aarch64-1.21.0.tgz
$ tar zxvf onnxruntime-linux-aarch64-1.21.0.tgz
$ mkdir ort
$ mv onnxruntime-linux-aarch64-1.21.0 ort
次にビルドスクリプトを実行します。
$ python build.py --config Release
ビルドが完了すると onnxruntime-genai/build/Linux/Release/wheel/ にwhlファイルができています。
それではonnxruntime-genaiを使って最新のPhi-4-miniを動作させてみましょう。
pythonの仮想環境を作成します。Phi-4-miniとします。
$ python -m venv phi-4-mini
$ cd phi-4-mini
$ source ./bin/activate
onnxruntime-genaiをインストールします。
$ pip install ../onnxruntime-genai/build/Linux/Release/wheel/onnxruntime_genai-0.7.0.dev0-cp311-cp311-linux_aarch64.whl
続いてHugginfaceのコマンドラインインターフェイスをインストールします。
$ pip install huggingface-hub[cli]
次はHuggingfaceからモデルをダウンロードします。
$ huggingface-cli download microsoft/Phi-4-mini-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/* --local-dir .
サンプルプログラムをダウンロードして実行します。
$ curl https://raw.githubusercontent.com/microsoft/onnxruntime-genai/main/examples/python/phi3-qa.py -o phi3-qa.py
$ python phi3-qa.py -m cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4 -e cpu
プロンプトが表示されたら質問をしてみましょう。日本語での質問も可能です。
Input: Tell me a joke about generative AI
Output: Sure, here's a joke about generative AI:
Why did the generative AI refuse to attend the birthday party?
Because it couldn't generate enough excitement to keep up the conversation and it didn't want to repeat the same old jokes! Plus, it got scared of the birthday candles burning itself up!
Input: 生成AIのジョークを教えて
Output: もちろん、こちらは生成AIのジョークです:
なぜAIはパーティーに行かなかったのですか？
それは、彼らが生成されたから、すべてのジョークが既知のパターンに従っていたからです。さらに、彼らは「AIがAIを言うのはAIだ」と言うのが嫌だったからです！
（注: このジョークはAIが生成するものであり、AIがAIを言うのはAIだという概念を冗談として使っています。）
Input:
RaspberryPi5でもそこそこのスピードで回答してくれます。