Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition読んだ

モチベーション

・Face Recognitionシステムにおいて、Impersonation(なりすまし、特定の誰かに誤識別させる)やDodging(単に誤識別させる)をしたい

手法

・特殊なメガネを3D(or2D)プリンターで作る

・このメガネは、以下を満たすrの画像

r : メガネの画像
X : Attacker(上の画像でのEinstein)の顔画像集合,
x : X内の画像,
ct : Impersonationしたい対象(上の画像でのKevin Spacey),
TV(r) : rのsmoothnessを保つための制約。smoothでない(=極端な色の変化がある)画像は、カメラでうまくcaptureできないから。
NPS(r) : rを印刷可能な色の範囲に制限するための制約
softmaxloss : 騙したいFace Recognitionモデルのsoftmaxloss

要するに、xに何を足せばctだと判定されるかをいろんな制約のもとで求めてる

Figure 4

・これで、Face Recognitionのカメラに写ると・・

結果

Source

・高精度でImpersonation, Dodgingができた

感想

・リアル環境ではFace Recognitionモデルがブラックボックスの場合が多いんでは
・ネットに落ちてる学習済みモデルをそのまま使ってる方々は気をつけよう（APIも）
・こんな眼鏡、恥ずかしくて使いたくない　恥ずかしさ制約を入れよう