STM32マイコン（およびマイクロプロセッサ）へAIを実装する際（*1）、リファレンスとして利用できる事前学習済みの機械学習モデルがいくつかgithubに用意されています。今回は、STM32向けに最適化された機械学習モデルのリポジトリ･STM32 model zooをチェックしてみました。主に画像センサ（カメラ）のデータを使った機械学習モデルが大半ですが、音響センサ（マイク）および測距センサ（ToF）を使用したモデルも用意されています。

*1: STM32マイコン / マイクロプロセッサ（例：STM32H7、STM32U5、STM32MP2、STM32N6 など）で AI を動かしたい方が対象。なんらかのセンサ入力データから、高度な判断をさせたい場合など。

参考: STM32 AIのポータルページ → Products → overview
AI用のツール･ソリューションが紹介されています。
stm32ai.st.comポータル

STM32マイコン / マイクロプロセッサ向けAIツールを利用した実装フロー（概要）

いきなりAI開発用のフローが登場しましたが、STM32 model zooとは、この中で利用できる AI用学習済みデータ（が集められたもの） です。開発用ツール環境としては、「NanoEdgeAI Studio」（図左端）と「それ以外」に分類できます。振動データなどを使うIoT系のAIの場合、現時点ではNanoEdgeAI Studioの利用がおすすめです。それ以外のAI、例えば画像データを扱うAIの場合、NanoEdgeAI Studioでは対応できないので、汎用機械学習ツールを使うことになります。このフロー中、STM32Cube.AIなど下段のツール群はあくまで「学習済みのモデルを使ってSTM32マイコン等に実装する」ためのものです。事前になんらかの学習済みモデルが必要になるので、そこでこのSTM32 model zooを活用することができます。

STM32 AI tool
ツール	内容	対象デバイス
NanoEdgeAI STUDIO	加速度センサや電流センサ、マイクなどのデータを利用したAI開発向け。機械学習の知識はあまり必要とせず、自分でデータを収集すれば最終的な実装用コードまで生成可能。データ収集用のコードも、各デバイス向けにこのツールの中で用意されている。	STM32マイコン ISPU付きセンサ
STM32Cube.AI / X-LINUX-AI / ST EdgeAI-Developer cloud	TensorFlowなどの汎用機械学習ツールで作成された機械学習モデルを、STM32などのデバイスへ実装するためのツール。つまりNanoEdgeAI Studioと違い、これらのツールには機械学習作業のための機能は含まれていません。この特徴により、画像データによる判断など幅広いAIに対応可能。	STM32マイコン ISPU付きセンサ STM32マイクロプロセッサ Stellar MCU

この連載記事では、STM32N657X0マイコンを搭載した「STM32N6570ディスカバリ･キット」（STM32N6570-DK）を使用する予定です。STM32N657X0にはニューラル･ネットワーク推論専用のハードウェア･アクセラレータが内蔵されているので、画像データ向けの機械学習モデルの処理に適しています。また、このディスカバリ･キットにはカメラが同梱されています。

1. STM32 model zooとは？

STM32 model zoo

STM32マイコン / マイクロプロセッサで実行できるように最適化された、リファレンス機械学習モデルのコレクションです。STのgithubページに、リポジトリとして用意されています。多数の画像データ（主にパブリック公開されている画像を使用）などを使って学習させた、機械学習モデル･ファイル（具体的には、.h5や.tfliteなどのファイル）が保管されています。STM32マイコン用にAIを実装する際には、ここに置いてある.tfliteファイルなどを使って書き込用のネットワーク･ファイルを作成する必要があります。
また、STM32 model zooの中に保存されているのは機械学習モデル･ファイルのみなので、STM32に書き込んで動かすためには別途アプリケーション･コードが必要になります。実際に試すことのできるサンプル･コードは、次で説明するSTM32 model zoo servicesリポジトリからアクセスできます（本体は別の場所に置いてあります）。

STM32 model zoo ユースケース
Use case	内容	対応ボード	サンプル･コード
Image Classification	画像の内容を、定義済みのクラスセットに分類	H747-DK, H743-N, MP2, N6570-DK	〇
Object Detection	入力画像から、定義済みの物体を検出･特定し、その確率を推定	H747-DK, MP2, N6570-DK	〇
Face Detection	入力画像から事前定義された顔とキーポイントを検出し、位置を特定し、発生確率を推定	H747-DK, N6570-DK	〇
Pose Estimation	特定のオブジェクト（人物、手、顔など）上のキーポイントを検出	H747-DK, N6570-DK	〇
Semantic Segmentation	画像内のすべてのピクセルにラベルを関連付け、異なるカテゴリを形成するピクセルの集合を認識	MP2, N6570-DK	〇
Instance Segmentation	画像内のすべてのピクセルにラベルを関連付け、異なるカテゴリを形成するピクセルの集合、または各カテゴリのインスタンスを認識	N6570-DK	〇
Depth Estimation	画像からオブジェクトまでの距離をピクセル単位の深度マップとして予測	N6570-DK	×
Neural Style Transfer	ある画像の芸術的なスタイルを別の画像の内容に適用	N6570-DK	×
Audio Event Detection	特定のオーディオ･イベントを検出	U585-IOT, N6570-DK	〇
Speech Enhancement	騒音環境における音声知覚の強化	N6570-DK	〇
Human Activity Recognition	歩行、走行など、人間の様々な活動状態を認識	U585I-IOT	〇
Hand Posture Recognition	測距センサ（Time of Flight（ToF））を用いて、一連の手のポーズ･形を認識	F401-N	〇
Arc Fault Detection	電流信号から電気アーク障害を検出	U585I-IOT	×
Re-Identification	異なる画像やビデオフレームにわたって人物またはオブジェクトを再識別	N6570-DK	〇

STM32 model zoo services

前述したように、STM32 model zooには何らかのデータ･セットを使って学習させた学習済みのモデルが入っています。ではユーザが自分で学習モデルを作りたい場合は、どうすればいいのでしょうか？　その場合、STM32 modelzoo-services という別のリポジトリにあるスクリプトを使います。
機械学習作業を始めるにあたって、作業時に必要なPythonスクリプト･ファイルが格納されています。（つまりPythonは当然必要で、さらにTensorFlowなどのパッケージをインストールする必要があります）

また、「いきなり学習作業から始めるのではなく、実機でとりあえずAIリファレンス（サンプル･コード）の動作を見てみたい」という場合、application code からアクセスできるリポジトリを使います。現時点（2026年2月）で一部を除き、上記のモデルをほぼ網羅しています。なお、ユースケース名とフォルダ名が違っているものがいくつかあるので注意してください。binフォルダの中に実行用ファイルが入っているので、次回以降の記事で、実際に動作させるところまで試してみたいと思います。

STM32 model zoo services --> Application code
Use case	保存フォルダ	Note
Speech Enhancement	audio
Audio Event Detection	audio
Face Detection	face_detection
Hand Posture	hand_posture/STM32F4	for STM32F4
Image Classification	image_classification
Instance Segmentation	instance_segmentation
Object Detection	object_detection
Pose Estimation	pose_estimation
Real Time Identification	re_identification
Semantic Segmentation	semantic_segmentation
Audio Event Detection	sensing/STM32U5	for U5-IOT
Human Activity Recognition	sensing/STM32U5	for U5-IOT

ちなみに、ST.comのNeural-ARTアクセラレータを搭載したSTM32N6用AIソフトウェア開発エコシステムのページからも、これらgithub内の各リポジトリページへ移動できます。

2. サンプル: 「object detection（物体検知）」について

STM32 modelzoo-servicesのページには色々な情報が載っています。ここではobject detection（物体検知）を例に、中身をチェックしていきます。

2-1. object detection

ルートリポジトリ（stm32ai-modelzoo-services）直下の各ユースケース名フォルダ内には、機械学習用のスクリプト･ファイルが保管されています。これらのフォルダ内には、STM32マイコン･ボードに直接書き込んで実行できるようなファイルは無いので注意してください。object_detectionフォルダをクリックすると、README.mdが開いて機械学習用スクリプトの説明サマリのようなものが閲覧できます。Pythonスクリプト･ファイルは、srcフォルダ下に作業内容ごと多数保管されていますが、実際に作業する際はコンフィギュレーション･ファイル（.yamlファイル）を使用して自動実行できるようになってます。docフォルダ内やその下のtutoフォルダ内に、詳しいドキュメントやチュートリアルが用意されています。ただし、分量がかなり多いです。
今回は不要なので、スキップします。

2-2. application code

STM32マイコンボードに書き込んで実行できるファイルはすべて、ルート･リポジトリ（stm32ai-modelzoo-services）直下の application code フォルダの中にあります。次回の記事でobject detectionを試す予定なので、まずはこのフォルダをクリックします。さらに、使用予定のボードはSTM32N6750-DKなので STM32N6 を選択すると、Object Detection Getting Startedといった名前のリポジトリへ移動し、README.mdページが開きます。

このページにあるキャプチャ画像を見ると、「人間を検出するデモなのかな？」と想像しますが、ページ内にはその説明がないため、現時点ではまだ不明です。

2-3. 機械学習モデル

MODELフォルダ内をチェックすると、ここに.tfliteファイルがありました。どうやらこの機械学習モデルファイルを利用しているようです。

quantized_tiny_yolo_v2_224_.tflite: NUCLEO-N657X0用
st_yolo_x_nano_480_1.0_0.25_3_st_int8.tflite: STM32N6750-DK用

STM32N6750-DK用としては、st_yolo_x_nano_480_1.0_0.25_3_st_int8.tflite を使用しています。

容易に想像できますが、*.tfliteファイルなどはそのままSTM32マイコンで利用することはできません。実際にSTM32に書き込むバイナリ･ファイル（ネットワーク･ファイル）生成用のシェルスクリプトが同じフォルダ内にあります。このスクリプトを使うと、*.tfliteファイルからnetwork_xxx.bin（あるいは.hex）ファイルを生成できます（このデモプロジェクト･フォルダ内では、すでに生成済みのものがSTM32N6570-DKフォルダ内にあります。*.hexファイルはアドレス情報を加えてさらにテキストデータ化しているものではありますが、データ内容としては*.binファイルと同じです）。

generate-n6-model_STM32N6570-DK.sh

generate-n6-model_STM32N6570-DK.sh

#!/bin/bash

stedgeai generate --model st_yolo_x_nano_480_1.0_0.25_3_st_int8.tflite --target stm32n6 --st-neural-art default@user_neuralart_STM32N6570-DK.json --input-data-type uint8 --output-data-type int8
cp st_ai_output/network.c STM32N6570-DK/
cp st_ai_output/network_ecblobs.h STM32N6570-DK/
cp st_ai_output/network_atonbuf.xSPI2.raw STM32N6570-DK/network_data.xSPI2.bin
arm-none-eabi-objcopy -I binary STM32N6570-DK/network_data.xSPI2.bin --change-addresses 0x70380000 -O ihex STM32N6570-DK/network_data.hex

このデモで使われている.tfliteファイルに関する情報をチェックしたかったのですが、これを作成した時に使用したとされるyamlファイルを見つけられませんでした（*1）。そこで、STM32 model zoo リポジトリ の方のobject detectionフォルダ下を色々と探したところ、ここに似た名前の.tfliteファイルを見つけました。yamlファイルも同じ場所にあるのでこの中の設定情報をチェックしてみます。

*1: 機械学習作業時、スクリプトはこのyamlファイル内の設定内容に従って作業を進めます。最終的な結果が.tfliteファイル（バイナリ･ファイル）として出力されます。

st_yoloxn_d100_w025_480フォルダ

st_yoloxn_d100_w025_480_config.yamlファイルを開き、datasetのところを見ると、判別クラスとして [person] だけ定義されています。当初は、色々な物体を識別するものを想像していましたが、README冒頭ページの写真にあるように、どうやら人間だけの判別デモのようです。
また、
project_name = st_yoloxn_480_1.0_0.25_3_st_official
とあります。最初にチェックした、application code→object detectionデモフォルダ内にあった機械学習モデルファイル名とかなり似てます。この設定ファイルはデモ用に使われているものと同じ、あるいは近いものと考えてよさそうです。

st_yoloxn_d100_w025_480_config.yaml

st_yoloxn_d100_w025_480_config.yaml（一部）

general:
  project_name: st_yoloxn_480_1.0_0.25_3_st_official
  logs_dir: logs
  saved_models_dir: saved_models
  display_figures: false
  gpu_memory_limit: 24
  num_threads_tflite: 24
  global_seed: 127

model:
  model_type: st_yoloxn
  model_name: st_yoloxn_d100_w025
  input_shape: (480,480,3)
  pretrained: false
  
operation_mode: chain_tqeb

dataset:
  dataset_name: custom_dataset
  class_names: [person] 
  format: tfs
  training_path: /local/data/od_st_person/train
  validation_path: /local/data/od_st_person/test
  test_path: /local/data/od_st_person/test
  quantization_path: /local/data/od_st_person/train
  quantization_split: 0.001

Yoloとは？

ここで頻繁に出てきた「st_yolo**」とは何でしょうか？
調べたところ、「Yolo xx」と呼ばれているものは、Tensorflowで実装された リアルタイム処理向けの物体検出モデル （深層学習モデル）の1つのようです。
「ST Yolo X」は、Yolo xxをST向けに最適化されたバージョンであり、Tensorflow Liteコンバータを使用してint8形式に量子化されています。

同じくobject detectionのページにある「YOLOv8n」の場合、
「第8世代のYOLO（You Only Look Once）シリーズに属する物体検出モデルの一つ。「n」は「nano（ナノ）」を意味し、非常に軽量かつ高速なモデル」
となります。

Yolo

「Yolo」についてAIによる回答.txt

YOLO 系（Ultralytics / ST / TAO）

yolo_v8
 Ultralytics の YOLOv8
 背景：
 YOLO 系の中でも最新世代（v5→v8→v11…）
 改良されたバックボーン、FPN、anchor-free ヘッド等を採用
 特徴：高精度＋リアルタイム性能

yolo_v11
 Ultralytics の YOLOv11
 v8 からさらに改良された世代という位置付け（SOTA に近い）

yolo_v5u
 Ultralytics YOLOv5 の一種
 スピードと精度のバランスの良さで有名なシリーズ

st_yolo_x
 YOLOX ベースの ST カスタム版
 特徴：
 anchor-free 対応（アンカーによる設計が不要で簡潔）
 分離ヘッド（分類と位置推定を別ヘッドで処理）
 学習戦略の工夫
 YAML から各種チューニングパラメータを柔軟に設定できる ST 独自拡張

st_yolo_lc_v1
 Tiny YOLOv2 をベースとした「軽量版（lightweight）」ST モデル
 特徴：
 リソース制約の厳しい STM32 などの組み込み向けに最適化
 精度よりも軽量・高速を優先する用途向け

tiny_yolo_v2
 元々の Tiny YOLOv2（軽量 YOLO）
 組み込み向けの定番軽量検出モデル

yolo_v4
 NVIDIA TAO Toolkit の YOLOv4
 バックボーン：
 ResNet / MobileNet / Darknet / EfficientNet / VGG / CSPDarknet など選択肢多数

yolo_v4_tiny
 TAO の YOLOv4 Tiny バージョン
 CSP Darknet Tiny バックボーンを利用

Yoloの他にも、SSD*-MobileNet*といった名前のモデルが用意されていますが、こちらもリアルタイム処理向けの物体検出モデルのひとつです。

2-4. 使われているデータセット（画像データ）

何かしら大量の画像･写真データを使って学習したのだろうと推察しますが、実際にどのようなデータなのか調べてみます。これまで見てきたgithubのリポジトリ内には無いので、web上で探す必要があります。
同じくこのst_yolo_xページ読むと、「COCO-Person」（or 「ST-Person」）というデータセットが使用されていることが判ります。下の方のReference欄を見ると「“Microsoft COCO: Common Objects in Context”」のリンクがありました。一般公開されているデータで、ここからイメージデータをダウンロードできそうです。

COCO dataset

色々とイメージファイルが用意されてますが、おそらく「Train」と書かれているものが学習用データと予想しました。STM32 model zooのobject detection下には「coco_2017_person」という名前のフォルダも存在するので、とりあえず「2017」年版？のデータをダウンロードしてみます（約18GByteもあるので、ダウンロードする場合PCの空き容量には注意しましょう）。
中身を見ると、約11万8千枚の写真が保存されていました。予想はしましたが、人間だけでなく乗り物や動物、食べ物など色々な写真があります。

ちなみに、2-3のところでチェックしたyamlファイル内では、datasetのところで、
training_path: /local/data/od_st_person/train
といったデータフォルダ用のpathが設定されていました。実際に学習した際には、人間だけの画像データを選別して使った可能性があります（全ての画像を使ってはいないと思われます）。

一応、全写真にannotation（注釈）データが用意されているので（"**annotations"といった別ファイル）、どの写真に何の物体があるのか判るようになっています。

今後の予定

今回はざっくりと、object detectionを例にSTM32 model zooの概要を解説しました。
次回は、このobject detectionが動作するサンプル･ファームウェアを、STM32N6570-DKボードに書き込みして試してみたいと思います。

② object detectionサンプル･コードを試す
③ object detectionサンプル･コードを試す別モデルをロード
④ 別のデータでobject detection学習作業トライ step1
⑤ 別のデータでobject detection学習作業トライ step2
⑥ 別のデータでobject detection学習作業トライ step3