これまで、LLM8850 でLLM(Qwen3)とTTS(MelloTTS)を動かしてみました。
しかし、これまで試したものはCLIで動作する対話型のもので、あくまでデモです。
エッジAIの強みを活かして組み込みを行う場合、LLMであれば OpenAI API形式のHTTPサーバ経由でのAPI提供 が、画像生成などその他のものについてもPythonでの読み込める形でのAPI提供が無いと、せっかくの性能も活用できません。
API利用ができないか色々試していた中で、Xで情報いただいたのですが、ちょっと混乱ポイントもあり、ちょっと整理が必要そうだったので、あくまで2025年10月11日現在の情報ですが、一旦整理したいと思います。
2025年10月11日現在、StackFlowのLLM8850対応は進行中のようです。
最新の状況はこの記事の内容と相違する場合があります。
TL;DR
LLM8850で動作させることができるソフトウェア/モデルは、大きく分けて LLM8850ユーザーガイドに記載のデモ群 と M5Stack公式が整備中のStackFlow の2系統に分かれます。
| URL | 特徴 | |
|---|---|---|
| LLM8850ユーザーガイド | https://docs.m5stack.com/en/guide/ai_accelerator/overview | 全体的に、モデルを対話式で動かすデモが中心。モデルの種類が多く、色々なものを試せる。 |
| StackFlow | https://docs.m5stack.com/en/stackflow/models/list | M5Stack公式なのと、aptでインストールできるので導入が楽。 基本的にはHTTPサーバでAPIが提供されている模様。 モデルの対応とドキュメントの対応がまだ追いついておらず、まだ動かせるものが少なそう。 |
さらに、これらを記載箇所別に分けると以下のようになります。
| 系統 | 便宜上の呼称 | 説明 |
|---|---|---|
| LLM8850ユーザーガイドのデモ | AXERAのデモ | LLM系の大部分(Qwen系、DeepSeek-R1系など)、マルチモーダル系、Real-ESRGAN、CosyVoice2など多数 |
| LLM8850ユーザーガイドのデモ | M5Stackのデモ | 画像認識のYOLO系、SD1.5-LLM8850 |
| LLM8850ユーザーガイドのデモ | ml-inory氏のデモ | 音声系の一部（MeloTTS, Whisper） |
| StackFlow | モデル一覧にあるモデルパッケージ | 現状はModule LLM用のみで、LLM8850では動作しない。 |
| StackFlow | LLM8850用のモデルパッケージ | モデル一覧ではなくLLM8850向けのQuick Startに記載されているもの |
| StackFlow | llm-model-qwen2.5-ha-0.5b-ctx-axcl |
プロダクトガイドの LLM885向け OpenAI API 互換APIの利用方法の個別ページ(URL: https://docs.m5stack.com/en/guide/ai_accelerator/llm-8850/m5_llm_8850_openai 以下、OpenAI API個別ページと呼称) に記載されており、利用方法の説明があるモデル |
| StackFlow |
apt list で確認できるパッケージ(llm-model-*) |
qwen2.5系、melotts系など現時点で多数確認できるが、ドキュメントが無いため未確認 |
以上より、現状だと主に以下のような使い分けになるかと思います。
- API利用がメインであれば StackFlow の LLM8850対応の動向を見守りましょう。
- お試しやアイデア出し、フィジビリティースタディーが目的であれば、タスクやモデルの種類が多いLLM8850ユーザーガイドのデモ版を試しましょう。
AXERAのLLM系のデモに用意されているAPIサーバについて
AXERAのLLM系のデモには、APIサーバの実装が存在すると情報をもらいました。
こちら試したのですが、現状では動かない、または、動かすための情報が足りないように思います。
詳しくは、こちらにまとめました。
ドキュメントについての注意
LLM8850で検索すると出てくるM5Stack公式の LLM-8850 Card ユーザーガイド には、現状ではStackFlowの導線が無いように見えます。
最初のお試しのためにデモやサンプル実装が中心となっています。
一方、StackFlow AI Platform はサービス実行とAPI利用が中心で、「で、実際どうやって活用する？」という、動作確認したその次のステップに必須のものだと思います。
ただ、AXERA版のデモで動いてたモデルがStackFlowにはまだ無かったり、そもそもStackFlowの各モデルの説明はまだLLM8850対応されいなかったりと、注意点や混乱する点が多いです。
- StackFlow のページ上のモデルリスト(Models) にあるモデルは、aptで取得できない (
apt listで出てこないので、CPUアーキテクチャか何かで制限かけている？)- これらのページはまだLLM630(AX630C)しかなく、LLM8850用に更新が間に合っていないと思われる。
- 同じモデルでも、 https://docs.m5stack.com/ja/stackflow/models/qwen2.5-ha-0.5b-instruct に記載のパッケージはaptで取得できないが、後述の
m5_llm_8850_openaiのページに記載のパッケージは取得できる。
- 同じモデルでも、 https://docs.m5stack.com/ja/stackflow/models/qwen2.5-ha-0.5b-instruct に記載のパッケージはaptで取得できないが、後述の
- AXERA版のサンプルはAX650用のものがAX8850で動いていたので、AX**50 系とAX*30C系でアーキテクチャが分かれているのですかね？
- これらのページはまだLLM630(AX630C)しかなく、LLM8850用に更新が間に合っていないと思われる。
- StackFlow のページ上の Quick Start > Raspberry Pi & LLM8850 に書いてあるモデルは、aptで取得できる
-
Product Guide > LLM8850 のディレクトリ配下の OpenAI API(m5_llm_8850_openai) のページに書いてあるモデル(qwen2.5-ha-0.5b)は、aptで取得できる
- ただし、 Product Guide > LLM8850 以下の目次にはこのページへのリンクが存在せず、どこから到達できるのかよくわからない。
このあたりはまだLLM8850がリリースされてから日が浅いので整備が進んでいないのでしょう。StackFlowの今後の動向を待ちましょう。
StackFlow のリポジトリで取得できるモデルについて
実際に StackFlow の手順に従いリポジトリをaptに追加すると、利用可能なパッケージが大量に見えます。
$ apt list | grep llm
# 〜中略〜
llm-asr/stable 1.6 arm64
llm-audio/stable 1.6 arm64
llm-camera/stable 1.9 arm64
llm-depth-anything/stable 1.7 arm64
llm-kws/stable 1.8 arm64
llm-llm/stable 1.9 arm64
llm-melotts/stable 1.9 arm64
llm-model-audio-en-us/stable 0.2 arm64
llm-model-audio-zh-cn/stable 0.2 arm64
llm-model-depth-anything-axcl/stable 0.4 arm64
llm-model-internvl3-1b-448-axcl/stable 0.6 arm64
llm-model-melotts-en-au-axcl/stable 0.6 arm64
llm-model-melotts-en-br-axcl/stable 0.6 arm64
llm-model-melotts-en-default-axcl/stable 0.6 arm64
llm-model-melotts-en-india-axcl/stable 0.6 arm64
llm-model-melotts-en-us-axcl/stable 0.6 arm64
llm-model-melotts-es-es-axcl/stable 0.5 arm64
llm-model-melotts-ja-jp-axcl/stable 0.6 arm64
llm-model-melotts-zh-cn-axcl/stable 0.6 arm64
llm-model-qwen2.5-ha-0.5b-ctx-axcl/stable 0.5 arm64
llm-model-sherpa-ncnn-streaming-zipformer-20m-2023-02-17/stable 0.2 arm64
llm-model-sherpa-ncnn-streaming-zipformer-zh-14m-2023-02-23/stable 0.2 arm64
llm-model-sherpa-onnx-kws-zipformer-gigaspeech-3.3m-2024-01-01/stable 0.3 arm64
llm-model-sherpa-onnx-kws-zipformer-wenetspeech-3.3m-2024-01-01/stable 0.3 arm64
llm-model-silero-vad/stable 0.3 arm64
llm-model-single-speaker-english-fast/stable 0.3 arm64
llm-model-single-speaker-fast/stable 0.3 arm64
llm-model-whisper-base-axcl/stable 0.4 arm64
llm-model-whisper-small-axcl/stable 0.4 arm64
llm-model-whisper-tiny-axcl/stable 0.4 arm64
llm-model-yolo11n-axcl/stable 0.4 arm64
llm-model-yolo11n-hand-pose-axcl/stable 0.4 arm64
llm-model-yolo11n-pose-axcl/stable 0.4 arm64
llm-model-yolo11n-seg-axcl/stable 0.4 arm64
llm-openai-api/stable 1.7 arm64
llm-sys/stable 1.6 arm64
llm-tts/stable 1.6 arm64
llm-vad/stable 1.7 arm64
llm-vlm/stable 1.9 arm64
llm-whisper/stable 1.8 arm64
llm-yolo/stable 1.9 arm64
llm/stable,stable 0.23-1 all
これを見ると、音声認識、TTS、N-CNN、Yolo11などそこそこカバーしてそうに見えます。
ただし、llm-model-qwen2.5-ha-0.5b-ctx-axcl 以外は現状ではStackFlowのドキュメントには記載が無い(StackFlowのドキュメントはパッケージ名のprefixが異なるので、アーキテクチャ差分があると思われる)ので、ドキュメントの整備を待つか、既存ドキュメントから仕様を予想してトライするかになります。
StackFlow の LLM8850 の動作について
2025年10月11日現在、私の手元では LLM8850 上での StackFlow の動作はまだ確認できていません。
(ログ見る限り、おそらくパッケージのインストール時に依存するpythonライブラリの追加が足りていないようではあります。)
動作できたら記事化したいなと思います。