最近, 顔関連の研究が盛り上がってるので, 備忘録も兼ねて, 個人的に気になった研究を記事にまとめた.
結果は特に上手くいったものをピックアップ（テイラースイフト率高め）.
似顔絵(Portrait)
-
APDrawingGAN: Generating Artistic Portrait Drawings From Face Photos With Hierarchical GAN
APDrawingGAN を使って顔のパーツごとに実画像to似顔絵の変換をするGenerator&Discriminatorを用意し, 学習. 100枚のプロのイラストレータによる似顔絵と実画像の対のデータを100枚(!)用意し, 回転（3通り）・拡大・縮小（3通り）でdata augmentationしx6に.
[Paper][GitHub][Demo]
 |
 |
|---|---|
| input | output |
-
U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation
実画像toアニメ画像の変換を行うGANの研究. 実画像toアニメとアニメto実画像のGenerator/Discriminatorを用意することで, 対のデータでなくても学習ができるよう工夫. Attention機構を用いて目や口を強調して変換する事で, 従来より豊かな表現力を獲得. 実画像・アニメ画像それぞれ3400枚ずつのselfie2animeデータセットも提供.
[Paper][GitHub][Demo]
 |
 |
|---|---|
| input | output |
顔3次元モデリング
-
Face-to-Parameter Translation for Game Character Auto-Creation
１枚の静止画to3D顔モデルの変換に関する研究. 荒野行動の会社が自社のゲーム用アバターに適用する模様.
[Paper] -
paGAN: Real-time Avatars Using Dynamic Textures
静止画一枚から3Dモデルの生成. 顔を顔で操れるiOSアプリも提供.
[Paper][Demo]
 |
 |
|---|---|
| input | output |
顔操作(Manipulation)
-
MaskGAN: Towards Diverse and Interactive Facial Image Manipulation
セマンティックなラベル（肌,口,目など）から自然な顔画像を生成. CelebAMask-HQのデータを用いて, SPADEの手法を適用. 学習データのほとんどが西洋系の顔のためかアジア系の顔を入力しても, 西洋人のような顔になって別人になるのが残念.
[Paper][GitHub]
-
Detecting Photoshopped Faces by Scripting Photoshop
フォトショによる顔の変形を深層学習により推定. ヒートマップで出力. このコードをAdobeが公開してるというのが個人的にツボ.
[Paper][GitHub]