2026-10-11 更新

RON-Vへ画像AIを追加し、車載カメラ画像から 倒木・路上の落下物 / 瓦礫・路面の穴・陥没・道路冠水・煙 を候補として検出し、さらに画像全体を clear / low_visibility に分類できるようにしました。

この記事では検出対象、AI構築の考え方、学習・評価・実機配置の進め方を説明します。コマンドと再学習手順は #22補足にまとめました。

RON-V 連載リンク
← 前の記事：#21 — AtomS3RのCAN・IMU・Shutdown制御
→ 次の記事：#22補足 — Kaggle学習・再学習の備忘録

はじめに — 今回できるようになったこと

RON-VではUSBカメラ（Logicool C270）で保存した道路画像に対し、次の状態を画像AIで判定します。

状況	AIの出力	使用モデル
倒木	`fallen_tree` のBBox	road-v02
路上の落下物・瓦礫・枝など	`road_debris` のBBox	road-v02
路面の穴・陥没	`pothole` のBBox	road-v02
道路冠水	`flood` のBBox	flood-v05
煙	`smoke` のBBox	smoke-v01
視界不良	`clear / low_visibility` の画像分類	visibility-v02

路面の「凹凸」は、ここでは pothole として学習した穴・陥没を指します。すべての段差や起伏を検出できるという意味ではありません。
倒木が通行を妨げるか、冠水が何cmあるか、といった判断までは行いません。画像と位置・時刻を残し、人が後から異常候補を確認することが目的です。

物体検出モデルでは、単に「ある / ない」だけでなく、画像のどこに対象があるかをBBoxで返します。

例えばroad-v02では、

fallen_tree  0.65
road_debris  0.31
pothole      0.88

のように、クラス名・confidence・位置を取得できます。

一方、visibility-v02は物体の位置ではなく、画像全体を、

clear
low_visibility

のどちらかへ分類します。

これらは自動運転の安全判断そのものではなく、RON-Vが記録した画像へ「道路異常候補」を付加するための補助判定です。

1. どうやって検出できるようにしたか

先に「道路で何を見つけたいか」と「必要な出力」を決めました。倒木や落下物には位置が必要なので物体検出、視界には画像全体の状態が必要なので画像分類を選びます。

道路障害物・冠水・煙は教師データと誤検出の傾向が異なり、視界はタスク自体が異なります。4モデルに分けることで、冠水だけ再学習する、モデルごとに閾値を調整する、といった更新ができます。道路障害物の3クラスは同じ場面の位置検出なので1モデルで扱います。

担当を次のように分けました。

場所・処理	役割
Roboflow	既存のラベル付きデータセットを取得
GitHub `vision/`	クラス変換・データ構築・学習呼出しを管理
Kaggle GPU	YOLO11n / YOLO11n-clsを学習・評価
ONNX変換	Pi側の入力・出力仕様へ合わせる
Raspberry Pi 5	イベント画像をONNX Runtimeで推論

進め方は、対象とラベルを決める → データを整える → 学習 → 実画像で評価 → 別の教師画像で改善 → 再評価 → ONNX変換 → 実機確認です。
最初から数千枚へ自分でBBoxを付けるのではなく、既存データで最初のモデルを作り、C270の実画像で弱点を探します。

2. 道路障害物 — Roboflowから3クラスを抽出

道路障害物モデルの出発点として、Roboflow Universeの road-obstacle-detection を使用しました。

取得元: road-obstacle-detection Version 3

取得元はLaasyaのObject Detectionデータセットです。利用条件はデータセットのversionとともに記録し、モデルの配布条件とは分けて確認します。

RON-Vで取り込んだVersion 3の data.yaml は5クラスでした。

0: Pothole - v1 raw
1: barrier
2: fallen_tree
3: road_debris
4: traffic_cone

このうちRON-Vで直接使いたい3クラスだけを抽出しました。

fallen_tree
road_debris
pothole

再マッピングは次です。

new 0 = fallen_tree  <- old 2
new 1 = road_debris  <- old 3
new 2 = pothole      <- old 0

この3クラスを1つのYOLOモデルで同時に検出します。

3. Kaggleで学習用データを再構築

Roboflow Version 3をYOLO形式でKaggleへ取り込み、RON-V用データセットへ変換しました。

split	images	fallen_tree	road_debris	pothole
train	883	310	507	1256
valid	183	34	66	330
test	115	28	49	153

追加前のVersion 3抽出結果は合計1,181画像です。

クラスの列はBBox数です。元データにはDetection形式とSegmentation形式が混在していたため、polygonをBBoxへ変換し、YOLO Detectionの5列形式へ正規化しました。

invalid labels : 0
corrupt images : 0

4. road-v02 — 倒木の教師データを補って学習する

最終的な道路データには fallen-trees-detection Version 1 も加え、倒木の教師データを補いました。

構築時の記録は合計1,500画像（train 1,143 / valid 213 / test 144）。前節の1,181画像は追加前のVersion 3抽出結果です。画像数とBBox数を区別し、元画像のsplitを保ち、重複を除外します。

学習は yolo11n.pt から50 epoch、入力640、batch 16で行います。データを増やして再学習することと、前の best.pt を初期重みにして追加学習することは別です。この道路用スクリプトは前者です。

Kaggleの指標だけで採用せず、C270画像で倒木の見逃し、道路脇の小物体への反応、穴の検出を確認しました。最終モデルは fallen_tree / road_debris / pothole の3クラスです。

5. Flood — 濡れた道路と冠水を分ける

冠水検出では、単に「水の画像」を集めればよいわけではありませんでした。

誤検出しやすかったのは、

濡れたアスファルト
雨天道路
水面反射
夜間ライト反射

です。

そこで、これらをnegative / hard negativeとして追加し、通常の濡れた道路と、冠水候補を分ける方向で調整しました。

最終モデルは flood-v05 です。

validation:

Precision : 1.000
Recall    : 0.866
mAP50     : 0.875
mAP50-95  : 0.673

独立test 65枚を conf=0.50 で評価した結果:

TP = 7
FN = 0
FP = 0
TN = 58

C270評価9枚でもfalse positiveは0でした。これは画像単位の候補有無の結果で、BBoxの位置精度を含むmAPとは分けて読みます。正例7枚の小さいテストであり、一般の道路画像でも誤検出がゼロになる保証ではありません。

6. Smoke — 煙を1クラスで検出

煙は Roboflow RF100 smoke Version 1 を教師データに、YOLO11nを1クラスのObject Detectionへ学習しました。煙という出力だけで火災原因を判断するものではありません。

class : smoke

validation:

Precision : 0.978
Recall    : 0.912
mAP50     : 0.970
mAP50-95  : 0.721

最終モデルは smoke-v01、初期confidenceは 0.20 です。

7. Visibility — 視界不良は画像全体を分類

視界不良は画像全体の分類にしました。PHD Project Version 5 の Fog を low_visibility、Normal / Cloudy / Sunny を clear へまとめ、YOLO11n-clsを学習します。主に霧に似た見え方が出発点です。雨・雪・逆光・夜間をすべて同じ精度で扱えるとは確認していません。

clear
low_visibility

通常道路の誤判定を減らすため、別の道路画像を clear として追加しました。道路障害物の有無と、視界の良し悪しは別の意味です。

最終モデル visibility-v02 の独立test 160枚:

accuracy : 0.9812

low_visibility:

precision : 0.9487
recall    : 0.9737
F1        : 0.9610

8. hard negativeで精度を上げる

今回の学習で効果が大きかったのは、単純に正例を増やすことより、何を誤検出しているかを確認することでした。

改善は次の順序で行います。

実画像で見逃しと誤検出を確認する。
道路という運用場面に合う別の画像を集め、人が対象の有無とラベルを確認する。
trainへ追加して再学習する。
固定した評価条件で、誤検出が減り、見逃しが増えていないかを確認する。

物体検出のnegativeは、対象がないことを確認した画像と空のラベルです。対象が写っている画像のラベルを消すと、誤った教師データになります。

flood-v05は38枚のhard negative候補からtrain側28枚だけを使い、追加98ファイルを生成しました。元のvalid / test分割を保ち、C270評価9枚と自宅内ベンチ画像は学習へ入れていません。

区分	役割
train	重みを学習する
valid / val	学習中にモデルを選ぶ
test	固定条件で性能を確認する
C270評価	車載カメラとの見え方の違いを確認する

同一画像や加工画像を別splitへ移さないようにします。C270評価を繰り返して開発上の判断に使ったため、採用後の性能評価には新しい走行画像も必要です。
confidenceはモデル間で同じ意味の確率として比較せず、モデルごとに閾値を決めます。

9. ONNXへ変換してRaspberry Pi 5へ

学習済みモデルはRaspberry Pi 5で実行するためONNXへ変換しました。

road-v02.onnx
flood-v05.onnx
smoke-v01.onnx
visibility-v02.onnx

採用した best.pt をONNXへ変換し、入力サイズ・出力shape・クラス順・前処理をPi側と合わせます。モデル本体は現状runtime ZIPとして別管理しています。

FloodについてはPyTorch版とONNX版をtest + C270の合計74枚で比較し、候補有無の判定不一致0を確認しました。この結果は全4モデルの同等性を確認した意味ではありません。再学習・再変換したモデルでも比較し直します。

10. 同じAIを動かし、再学習できるために残す情報

同じAIを動かすにはソースコードに加えてモデル本体が必要です。再学習には元データ、分割、学習条件、学習用の .pt も必要です。

GitHubのcommit、実行コマンド、Python / package / GPU。
元モデル、データのworkspace / project / version、出典と利用条件。
クラス順、split、manifest、hard negativeの選び方。
args.yaml、results.csv、best.pt、ONNX、SHA256。
Pi側の入力サイズ・前処理・閾値・配置先・動作確認方法。

Notebookを実行の入口とし、処理本体はGitHubに残します。Kaggleの一時領域が消える前に学習結果を保存します。学習結果ZIPに画像が含まれていなければ、それだけではデータを復元できません。

道路・煙・視界の再構築スクリプトは vision/ にあります。冠水の最終データ作成セルは、確認できた記録には全文がなく、GitHubにも未収録です。#22補足に実行できる範囲と必要な保存物を明記しました。

ONNXは、学習済みAIモデルを保存するファイル形式です。ONNXに変換しても、それだけで自由に配布できるようになるわけではありません。

GitHubでモデル本体を公開する前に、学習の出発点に使ったYOLO11などの元モデルと、学習に使った画像データについて、それぞれの利用条件を確認します。出典の表示、ライセンス文の添付、関連するソースコードの公開など、求められる条件があれば、それを満たしてから配布します。

例えば、設定ファイルに学習画像のライセンスとして CC BY 4.0 と書いてあっても、それだけではYOLO11側の利用条件まで確認したことにはなりません。設定ファイルの記述が正しいかも、画像の取得元の説明と照合します。つまり、「学習に使えるか」と「作ったモデルをどの条件で配布できるか」の両方を確認する、という意味です。

確認先: Ultralyticsのライセンス案内 / Roboflowの利用規約。

11. 最終的に採用した4モデル

profile	何を見るか	task	Raspberry Pi側の初期閾値
road-v02	倒木 / 路上落下物 / 路面の穴・陥没	detection	0.20
flood-v05	道路冠水	detection	0.50
smoke-v01	煙	detection	0.20
visibility-v02	clear / low_visibility	classification	top-1

road-v02の最終validation:

Precision : 0.726
Recall    : 0.616
mAP50     : 0.683
mAP50-95  : 0.370

fallen_tree mAP50 : 0.657
road_debris mAP50 : 0.620
pothole     mAP50 : 0.772

これでRON-Vは、電波・位置・車両情報だけでなく、イベント発生時の道路画像へ、

倒木
落下物 / 瓦礫
路面損傷
冠水
煙
視界不良

という追加情報を付けられるようになりました。

RON-VではBUTTON / SHOCKで保存した event.jpg に4モデルを適用し、結果を vision_result.json へ残します。

次の RON-V #23 では、この4モデルをRaspberry Pi 5上で動かし、AtomS3RのBUTTON / SHOCKから自動推論する実装を扱います。