#はじめに
RaspberryPiで物体検出を行うにあたり、主要な物体検出手法の一つであるYOLO(You only look once)の各ソースの検出速度と検出精度を比較してみたのでまとめます。
YOLOの仕組みについては【物体検出手法の歴史 : YOLOの紹介】が分かり易かったです。
私がRaspberryPi でやりたいこと
猫用のペットカメラとするついでに、4匹の猫を見分けたい！柄は4匹とも違う！
見分けて何をするかは、猫の様子を監視してエアコンのリモコン制御とか、活動量を見て健康管理に使えたらいいなぁ程度しか考えてないです。
- MUST：識別するクラス数を変更して、オリジナルの学習モデルを作ることができる(今回の記事のスコープからは外れます)
- MAY：できれば1秒に1回は判定したい
##環境
 - brightgreen)  - brightgreen)
#結果
評価対象はCOCOデータセット(クラス数は80)とし、YOLOの作者のサイト：YOLO: Real-Time Object DetectionとAlexeyABで配布されている学習済みモデルの重みを用いています。各モデルには検出時間を優先した"Tiny"というものがあります。
以下、ソース×Modelの結果です。説明・結果の画像・所感は後程記載します。
| ソース | Model | 検出時間 | 検出精度 |
|---|---|---|---|
| pjreddie | v2 | 477秒 | ○ |
| pjreddie | v2-Tiny | 42秒 | × |
| AlexeyAB | v2 | 33秒 | ○ |
| AlexeyAB | v2-Tiny | 6.6秒 | △ |
| AlexeyAB | v3 | 74秒 | ◎ |
| AlexeyAB | v3-Tiny | 6.7秒 | ○ |
| AlexeyAB | v4 | 152秒 | ◎ |
| AlexeyAB | v4-Tiny | 7.8秒 | ○ |
| keras-yolo3 | v3 | 12秒 | ◎ |
| keras-yolo3 | v3-Tiny | 0.75秒 | ○ |
| Tensorflow-YOLOv3 | v3 | 8.9秒 | ◎ |
| Tensorflow-YOLOv3 | v3-Tiny | 3.4秒 | ○ |
| yolov3-tf2 | v3 | 5.6秒 | ◎ |
| yolov3-tf2 | v3-Tiny | 0.67秒 | ○ |
検出精度は主観ですが、各画像の主の物体の認識率を目安にしています。◎(90%～100%)、〇(70%~90%)、△(50%~70%）、×(認識できない)。
#ソースごとの説明・結果画像・所感
pjreddie/darknet
https://pjreddie.com/
https://github.com/pjreddie/darknet
- 本家
- v2、v3の学習済みモデルの重みのダウンロードもこちらからできます。
- C言語
- 物体検出中のCPUの使用率は25~35%で遷移しており、CPUの使用効率は悪い。
- makeファイルのパラメータを変えることで、GPUで動作させることも可能だが、RaspberryPiでは難しい。
- v3、yolov3-tinyは
Segmentation faultで動きませんでした。(Google Colaboratoryでは検出できているので環境の問題) - v2-Tinyは物体検出できてなさそうでした。(こちらもGoogle Colaboratoryでは検出できているので環境の問題)
 - brightgreen)
| Model | dog | person |
|---|---|---|
| v2 |  |
 |
| v2-tiny |  |
 |
AlexeyAB/darknet
- pjreddieの継承版。YOLO v4に対応。
- YOLO v4の学習済みモデルの重みのダウンロードはこちらからできます。
- C言語
- makeファイルのパラメータを変えることで、GPUで動作させることも可能だが、RaspberryPiでは難しい。
- 物体検出中のCPUの使用率は25~35%で遷移しており、CPUの使用効率は悪い。
 - brightgreen)
| Model | dog | person |
|---|---|---|
| v2 |  |
 |
| v2-tiny |  |
 |
| v3 |  |
 |
| v3-tiny |  |
 |
| v4 |  |
 |
| v4-tiny |  |
 |
qqwweee/keras-yolo3
- keras版
- pjreddie/darknetの重みをコンバートして使用することができる。
- デフォルトでは検出結果の画像を出力できないので、KerasのYOLO-v3を動かしたったを参考に処理を追加しました。
- 物体検出中のCPUの使用率は100%
  
| Model | dog | person |
|---|---|---|
| v3 |  |
 |
| v3-tiny |  |
 |
neuralassembly/Tensorflow-YOLOv3
https://github.com/neuralassembly/Tensorflow-YOLOv3
Raspberry Pi で YOLO v3-Tiny / YOLO v3 による物体検出を試してみよう
- Tensorflow1系
- pjreddie/darknetの重みをコンバートして使用することができる。
- 検出時間は出力されないので、sess.run()の前後で時間を計測。
- 物体検出中のCPUの使用率は100%
 
| Model | dog | person |
|---|---|---|
| v3 |  |
 |
| v3-tiny |  |
 |
zzh8829/yolov3-tf2
- tensorflow2系 (tf.keras使用)
- pjreddie/darknetの重みをコンバートして使用することができる。
- RaspberryPiでは
pip install tensorflowでtensorflow2は入らなかったので、https://github.com/PINTO0309/Tensorflow-bin からtensorflow-2.2.0-cp37-cp37m-linux_armv7l.whlをダウンロードしてinstall - 物体検出中のCPUの使用率は75~85%
 
| Model | dog | person |
|---|---|---|
| v3 |  |
 |
| v3-tiny |  |
 |
#まとめ
- 「1秒に1回は判定したい」を満たすには、多少検出精度は落ちるがPython系のv3-tinyでしか難しい。
- 私が使うときにはクラス数は少なくなるので、それにより精度は上がることを期待する。
##今後の方向性
- 学習はAlexeyABをGPU版でbuildし、Google Colaboratoryで実行する。Tinyなら1000エポック：7分程度。
- 物体検出はPython系の中から流用しやすさを見てどれを使うか決める。(今後のことも考えるとzzh8829/yolov3-tf2が無難か。。)
- 猫の写真撮らないと。。
次回：RaspberryPiで物体検出してみる ~その2：ねこ画像の学習~
#参考
Raspberry PiでDarknetを使う
YOLOv3 論文訳