はじめに

YOLO v5を使ってピースサイン検出をしてみました

ピースサインの画像のデータセットがなかったのでデータセットを作成し、検出モデルを学習させて、webカメラでの検出を行いました
データセットの作成からwebカメラで検出するところまで、非常に簡単にできてびっくりしました
興味のある方はぜひ遊んでみてください

やったこと

ピースサインの画像収集
アノテーション
学習
webカメラでリアルタイム検出
(おふざけ)検知された顔の部分に他の画像を挿入

開発環境

Macbook Pro(13インチ, 2019年モデル)
プロセッサ: 2.4 GHz クアッドコアIntel Core i5
メモリ: 16GB

ピースサインの画像収集

学習に用いるための画像を収集します
まずGoogle画像検索で「ピースサイン」と入力すると以下のような結果が返ってきます
次に画像検索結果を保存します、ここで形式を「ウェブページ、完全」にしてください
そうすることで、簡単にgoogleの検索画像をまとめて取得することができます
取得した画像をそれぞれ見ていき、人間がピースしている写真のみを残しました
その結果74枚のピースサインの画像を得ることができました

アノテーション

ピースサイン画像にアノテーションをしていきます
YOLOv5のgithubによるとroboflowというwebアプリを推奨しているので、こちらを使ってアノテーションを行いました
ログインするとroboflowの使い方のレクチャーがあるので、それに従います
操作自体は非常に直感的に行うことができます
ピースサインの部分を囲って「peace-sign」というラベルをつけます
顔の部分にも「face」というラベルをつけました
全ての画像にアノテーションをした後、なんとroboflowでデータ分割やリサイズ、さらに様々なデータ拡張ができます、素晴らしい！！
- 今回は画像の反転と90度回転のデータ拡張を行いました

そして出力形式に「YPLO v5 Pytorch」を指定し、下のボタンは「show download code」に指定します
ここに表示されているYour Download Codeを保存してください

学習

ここからコマンドライン上での作業に入ります
アノテーションされた自作データセットを用いて、検出モデルを学習させます
まず、YOLO v5をクローンします

C:\>git clone https://github.com/ultralytics/yolov5

次に必要なライブラリをインストールします
- 様々なライブラリをダウンロードするので仮想環境でやると良いと思います参考記事

cd yolov5
C:\yolov5>pip install -r requirements.txt

yolov5/dataの中でroboflowで示されたデータのダウンロードコードを実行します

C:\yolov5/data>curl -L "ダウンロードURL" > roboflow.zip; unzip roboflow.zip; rm roboflow.zip

次に自作データセットフォルダの中にあるdata.yamlファイルの画像ファイルへのパスを変更します

data.yaml

train: data/train/images  ##変更
val:   data/valid/images  ##変更

nc: 2
names: ['face', 'peace-sign']

次に4つのモデルの中から好きなモデルを選びます
- 私はローカルの環境で学習させるのでパラメータの少ないYOLOv5sにしました

そして、学習を行います

C:\yolov5>python train.py --img 640 --batch <バッチサイズ> --epochs <エポック数> --data <data.yalmファイルへのパス> --weights <モデル>
C:\yolov5>python train.py --img 640 --batch 16 --epochs 200 --data data/data.yaml --weights yolov5s.pt

学習が終わるとruns/train/exp/weights/best.ptに学習済みモデルが出力されます
他にもruns/train/exp/フォルダの中にはlossの推移など学習の分析を自動でしてくれるので、それを見てるだけでも面白いですよ！

webカメラでリアルタイム検出

webカメラでピースサインと顔を検出をします

C:\yolov5>python detect.py --source 0 --weight <出力されたモデルへのパス>

C:\yolov5>python detect.py --source 0 --weight runs/exp/weights/best.pt

200枚の学習データでもそこそこ検出することができました！

データセットの作成からモデルを動すところまで、こんなに簡単にできるなんて驚きました

(おふざけ)検知された顔の部分に他の画像を挿入

最後にピースと人間の顔が同時に検出された時に顔がヒカキンになるというシステムを作ってみました
これはYOLOv5のフォルダにある検出を行うファイルであるdetect.pyの検出した部分を囲って表示する部分と囲って表示する関数が定義されているファイルであるutils/plots.pyの2つを変更しました
まず、utils/plots.pyのAnotatorクラスに以下の関数を追加します

utils/plots.py

  def face_change(self, box, face_image, label='', color=(128, 128, 128), txt_color=(255, 255, 255)):
      p1, p2 = (int(box[0]), int(box[1])), (int(box[2]), int(box[3]))
      p1, p2, p3, p4 = box[0].item(), box[1].item(), box[2].item(), box[3].item()
      FACE =cv2.resize(face_image, dsize=(int(p3)-int(p1), int(p4)-int(p2)))
      self.im[int(p2):int(p4), int(p1):int(p3)] = FACE

次に、detect.pyを変更します
detect.pyの実行時のコマンドライン引数にヒカキンの顔の画像ファイルを指定できるようして、run関数内で画像ファイルを読み込み、顔とピースサインが同時に検出された場合に上で定義した関数を呼び出すことで完成します
そして以下のように実行します

C:\yolov5>python detect.py --source 0 --weight best.pt --<自作の引数> <画像ファイルのパス>

C:\yolov5>python detect.py --source 0 --weight best.pt --face "./changed_faces/hikakin1.jpg"

できた！

自作データセットでピースサインと顔検知 +画像挿入でヒカキンになってみた【YOLOv5】

はじめに

やったこと

開発環境

ピースサインの画像収集

アノテーション

学習

webカメラでリアルタイム検出

(おふざけ)検知された顔の部分に他の画像を挿入

参考文献