この記事はセーフィー株式会社 Advent Calendar 2022 の12月20日の記事です！
セーフィーでエンジニアとして働いている伊林です。
セーフィーではこれまで、AI領域の開発やエッジアプリの開発、サーバーサイドの開発などいろいろな開発をしてきました。今回は、中でも愛着深い、解析プラットフォームというプロダクトに関する記事です。
解析プラットフォームとは、セーフィーのカメラの映像に任意の機械学習モデルをデプロイ出来るという、非常に夢のあるプロダクトです (詳細はこちら)
今回は、社内ハッカソンの形式で、解析プラットフォームに載せる画像処理アルゴリズムを開発してみました。
ハッカソンのテーマ
弊社CTOの森本を検知するアルゴリズムを構築することが今回のテーマです。多忙な森本さんを捕まえたい人にとっては便利なサービスかもしれません 笑
また最終的には、成果物を解析プラットフォームにサービスとしてデプロイすることを目指します！
ハッカソンの内容については、こちらの記事に詳しく記載されています。
利用したアルゴリズム
自分以外のハッカソン参加メンバーは、分類モデルを学習させることで検出器を作ろうとした方が多かったですが、前から興味のあったFaceNetを試してみることにしました。
具体的には
- 物体検出により顔画像を切り抜く
- FaceNetにより、くり抜いた画像を対象の人物かどうか判別する
という二段構成で推論を行います。
ハッカソン参加メンバーの記事
MTCNN
MTCNNとは、顔検出専用の物体検出モデルです。特に再学習などはせず、既成のものを使いました。
FaceNet
今回は、学習済みの顔認識モデルとして有名なモデルです。FaceNetとは、簡潔にいうと「人物顔をその人特有の特徴量ベクトルに変換することができるモデル」です。
この特徴量ベクトルを比較することで、「画像同士が似ているか似ていないか」 ≒ 「同一人物かどうか」を学習を必要とせずに判別することができます。
↑ このようなFaceNetの特徴を利用すれば、「任意の人物を映像から検索するサービス」を作ることもおそらく可能です! 夢が広がりますね
MCTNNとFaceNetの実装は、以下のレポジトリを利用しました。
https://github.com/timesler/facenet-pytorch
FaceNetの論文はこちら
https://arxiv.org/pdf/1503.03832.pdf
ベース画像
以下の2枚の画像と入力画像を比較することで、対象人物かどうかを判別します。
※一枚でもある程度判別できましたが、念のため2枚用意しました
ベース画像1
ベース画像2
評価結果
評価は、社内カメラを利用して収集した画像で行いました。
| Accuracy | Precition | Recall |
|---|---|---|
| 0.83 | 0.90 | 0.75 |
見逃しは若干あるものの、Precitionはかなり高いようです！
おそらく、顔が正面から写っていないと正しく検出されずらいのではないかなと思います。
正しく予測できているもの (TP)
間違って予測したもの (FP)
見逃したもの (FN)
解析PFへの組み込み
思いのほか簡単に、うまくCTOを予測できる検出器ができたため、今度は解析プラットフォームへサービスとしてデプロイしてみます。解析PFにモデルを組み込むためには、指定のフォーマットでDockerイメージを作成する必要があります。
具体的には、以下のような作業を行いました。
- 作成したコードを実行できるように、Dockerfileのベースイメージを変えたり、必要なライブラリをインストールする
- サンプルコード内の画像処理をおこなうメソッドを実装する
また、検出結果に応じてメールやSlack通知を送信したり、任意のWeb Hookを実行させることができます。今回は、Slackに検知結果を通知してみました。
過検出が若干ありましたが、概ねうまく動いていそうです
slack通知の様子
検知されたCTOの様子
まとめ
今回は社内ハッカソンという形で、社内カメラを使って画像処理のアルゴリズムを作成し、解析プラットフォームへデプロイしてみました。
解析プラットフォームはまだ公開前ですが、現在の段階でも簡単にアルゴリズムをSafieのカメラへ繋げられるので、面白かったです。今後、思いついたアルゴリズムを簡単に試せるようになっていくと、良いアイデアやサービスがたくさん生まれる気がしました。
今回はCTO検出器でしたが、他にも作ってみたいものはたくさんあるので、このような取り組は今後も続けていきたいです。