Yolov5を利用した表情検知

今回の内容

今回はYolov5を利用した表情検知プログラムについて記入をさせて頂きたいと思います.
データセット規約により学習データの経過画像を載せることができませんのでご了承ください.

モデルの内容

表情をpositive or negativeの2つを検知する為のモデルを構築する.
モデルは以下のものを使いました.[1]

このデータセットをもとに目視でpositive or　negative のデータセットを作成しました.

※学習させる前のモデル作成段階でわかっていたことですが,今回は女性の画像のみ,さらにカテゴリに偏りがあるのでnegativeにどうしても寄ってしまいやすいという問題があるのではないかとこの段階で推測しました.

学習

part1(epoch50)

part2(epoch1000)

結果はこのようになりました.

　テスト

今回は,女性の画像のみで学習させたので男女で画像4枚でテストをしてみました.

part1(epoch50)

part2(epoch1000)

※恐らく茶色のやつはnegativeを表しています.

結果

今回は学習モデルにいろいろな偏りがあったので,精度があまりよくなかったですが体感としてyoloを利用した表情分析はできそうなのでモデルを自作してもう一度挑戦してみたいと思います.

使用データセット

[1] The Japanese Female Facial Expression (JAFFE) Dataset

Michael J. Lyons, Miyuki Kamachi, Jiro Gyoba.
Coding Facial Expressions with Gabor Wavelets (IVC Special Issue)
arXiv:2009.05938 (2020) https://arxiv.org/pdf/2009.05938.pdf