はじめに

PyTorchを使って日向坂46の顔分類をしよう！という記事などで、シンプルなCNNを用いて日向坂メンバーの顔分類を行っています。画像分類タスクではなく顔認識タスクとして捉えて、もっと手軽に高い精度でメンバーの顔を認識してみましょう。

使用するモデル

顔認識は非常に応用範囲の広い技術で、空港でのゲートに用いられたり、監視カメラシステムに導入したり様々な場面で活用されます。顔認証には非常に高い精度が要求され、非常にラベルの数が多いという特徴があります。
ラベルの数が可変で大量に存在している為、softmax等を用いたクラスタリングではなく、文書分類などと同様に顔画像の特徴量ベクトルに対する埋め込みを学習するということが行われています。（詳しくは深層学習を用いた顔認識のサーベイ論文などを参照してください。）
今回は、顔画像を特徴量ベクトルに埋め込む学習済みモデルを使用することにします。

使用ライブラリ

face recognitionというリポジトリがあり、非常に簡単に顔認識モデルを扱うことが出来ます。内部でdlibという機械学習ライブラリを使っているようです。
顔の場所を識別する関数と顔画像を128次元ベクトルに埋め込む関数が用意されていて、以下のように簡単に使用することが出来ます。推論しかしないため、GPUを積んでいないパソコンでも現実的な時間で実行させることが出来ます。

import face_recognition

#顔の位置に対応する長方形の座標が得られる
face_locations = face_recognition.face_locations(image)

#128次元ベクトルが得られる
face_encodes = face_recognition.face_encodings(image, face_locations)

教師用の画像の用意

ラベルづけされたメンバーの画像を用意する必要があります。google画像検索などを用いても良いですが、日向坂のブログからダウンロードすると簡単に大量の画像を入手することが出来ます。pythonスクリプトを書いて、一晩待つと全てのブログの画像をダウンロードすることが出来ました（サーバーに負担をかけないように間隔を開けてダウンロードしているため、時間がかかりました。常識はあるので）

そのうち一人だけ写っている画像を適当に抽出して、各メンバー20枚弱のラベル付きの顔写真を用意しました。

顔認識

画像に対して顔の場所を取得し、face recognition用いて128次元の空間に埋め込みます。そして教師用のラベル付き画像から求めたベクトルとのコサイン類似度（２つのベクトルが為す角のコサイン）に基づいて誰の顔写真なのか判定します。今回は非常に単純にk-近傍法を用いました(k=1)。（つまり最も近い画像が属するクラスに属していると判定する）
ブログの画像は、高画質であり顔が大きく写っていてラベル付けの手間もあまりない点が優れていますが、自撮りアプリのフィルターがかかってしまったり、上手く取れた写真だけ選別してアップロードされているという点で少し分布が偏ってしまうことが懸念されます。

顔認識結果

以上より顔認識アプリが完成しました！
google画像検索で得られたブログに載っていない画像を用いて今回のモデルがどれだけ上手く顔認識出来るか確かめてみましょう

これは3rdシングル「こんなに好きになっちゃっていいの」の選抜発表の時の画像ですが、非常に高精度に識別出来ていることが分かります（正しいラベルがわからない人は「日向坂で会いましょう」を見てください）

20枚弱のラベルと非常にシンプルなアルゴリズムで顔識別を行えることが確認できました。

今後の改良

一人の顔が大きく写っている画像ではほぼ間違いなく顔認識をすることが出来ました。皆が集合している写真でも、サードシングル選抜発表の画像は高精度の識別が出来ましたが、これはアー写を用いた画像であるためブログ画像と性質が近かった可能性が考えられます。
「立ち漕ぎ」の公式twitterの画像を用いてみるともう少し精度が落ちます。

教師用の画像をブログ以外から取得することでバリエーションを増やしたり、k-近傍法のkの数を調整したりすることでもっと高精度に判定できることが期待できます。
今回のモデルを活用することで、どのメンバーと良くブログにツーショットを上げているかや、どのメンバーと良く一緒にテレビに写っているかなど様々な事を気軽に調べることが出来るようになります。
また笑顔判定などを併用することで、メンバーが可愛く写っているフレームを動画から抜き出すなどといった活用も考えられます。
深層学習モデルをどんどん活用していきましょう。

今回のコードのリポジトリはこちらです

おわりに

みなさんも是非、令和最強アイドルバラエティ「日向坂で会いましょう」を見てください。日曜の深夜1:05〜1:35 テレビ東京などで放映されています。次回も非常に楽しいこと間違いなしです。

次回は…「クレーム続出！この際だから言っておこう！前半」
ひらがな推し時代からは１年半を超える関係となり、
楽しくやっているかと思いきや、続々と集まる衝撃のアンケート。
番組へ、メンバーへ、MCへのクレームが止まらない！？
遺恨を残さず全員スッキリできるのか！？
— 日向坂で会いましょう (@hiraganakmax) November 3, 2019

お手軽に日向坂46の顔分類！