さいしょに
この記事は顔学2020アドベントカレンダーの10日目の記事です．
原島先生の昔のネタを見つけて，令和にやろうとしたらどうなるのかを検証したくてウズウズしてしまったので実装してみました．こういった文化的に価値のあることをしてみたかったんですよ！！
モナリザに表情をつける（1997年）
顔の表情の人口現実感，原島1991年
今回は令和の最新技術を用いて，モナリザをアレコレいじった結果をお見せします．
使った技術・研究
過去にも記事で紹介したことのあるものはコピペです．
SytleGAN2
StyleGAN2は高解像度の顔画像生成モデルのSOTAです．NVIDIAが開発をしたモデルで，表現力が非常に高く潜在変数空間も滑らかなことで知られています．
Image2StyleGAN
Image2StyleGANと呼ばれる技術も研究がなされており，データセットに存在しないような現実の顔画像でも再構成可能であることが分かっています．
近年の深層生成モデルは，基本的には潜在変数と生成画像が1:1対応をしています．なので，生成画像が所望の画像と同じになるように潜在変数に最適化処理をかけてあげれば実在する人の顔画像を再現することができます．
StyleGAN2で再実装して僕の顔でやってみた結果が以下です．そこそこの精度が出ていると思います．
右が本物で左が再構成画像です．
InterFaceGAN
InterFaceGANでは十分に訓練された深層生成モデルの潜在変数空間には，意味的境界（Semantic Boundary）が生成されることがわかっています．論文ではPGGANとStyleGANについて検証が行われていますが，今回はそれをStyleGAN2で追実装したものになります．
意味的境界の推定方法はシンプルで，適当な潜在変数から画像を生成しまくって生成したサンプルに対して属性ラベルを付与します．属性ラベルさえつけられれば，あとは属性値を効率よく分離できるような境界を線形SVMで推定します．推定された境界超平面に対して，法線ベクトル方向が属性ベクトルとして採用されます．このベクトル方向に潜在変数を移動させることで属性を変化させます.
今回の記事では，10000件の顔画像サンプルをランダムに生成して，属性ラベルの付与には学習済み顔属性推定モデルを用いました．
Deep Learning Face Attributes in the Wild
サンプルの属性ラベリングには，Deep Learning Face Attributes in the Wildの学習済みモデルをお借りしました．
以下の属性スコアをサンプル画像に付与することができます．これらはCelebaの属性にあるものみたいですね．
- 5_o_Clock_Shadow: 髭の剃り残し
- Arched_Eyebrows: 三日月眉
- Bags_Under_Eyes: 涙袋
- Bald: 薄毛
- Bangs: 前髪
- Big_Lips: 大きな唇
- Big Nose: 大きな鼻
- Black Hair: 黒髪
- Blond Hair: 金髪
- Brown Hair: 茶髪
- Bushy Eyebrows: ゲジ眉
- Chubby: ぽっちゃり
- Double Chin: 二重顎
- Eyeglasses: 眼鏡
- Goatee: あごひげ
- Gray Hair: 灰髪
- Heavy Makeup: 厚化粧
- High Cheekbones: 高い頬骨
- Male: 男性（ようは性別）
- Mouth Slightly: 小さな口？
- Mustache: 口ひげ
- Narrow Eyes: 細い目
- No Beard: あごひげがない
- Oval Face: 丸い顔
- Pointy Nose: とがった鼻・鼻の高さ
- Receding: のけぞり？
- Rosy Cheeks: バラ色の頬
- Sideburns: もみあげ
- Smiling: 笑顔
- Straight Hair：ストレートヘアー
- Wavy Hair: くせっけ・パーマ
- Wearing Earrings: イヤリングの有無
- Wearing Hat: 帽子の有無
- Wearing Lipstick: 口紅の有無
- Wearing Necklace: ネックレスの有無
- Wearing Necktie: ネクタイの有無
- Young: 若さ（年齢）
結果
Image2StyleGANで顔ベクトル取得
モナリザの絵もしっかり表現可能でした．実は画像を生成している間に気づいていたのですが，ちょっと潜在変数の外側に行くと肖像画のように変化してしまったりする特性があります．なのでうまくいくかなと思っていました．
StyleGAN2にはシワ・そばかすなどを再現するためのノイズをスタイル変換処理前に入れているのですが，今回はそのノイズが絵画のテクスチャ情報を再現できている気がします．
左: 本物 右: 偽物
InterFaceGANで属性変換
さっきの属性の中でもうまくいったものとダメだったものがあるので，今回はうまくいったものだけ見せています．
この辺が上手にできました．
笑顔
眼鏡
薄毛
ぽっちゃり
年齢
化粧
さいごに
今回は原島先生の昔のテーマにインスパイアされて思わず実装してしまいました．
なんだか文化的に価値のあることができた気がして非常に自己満足しています．コードは急いで書いたので汚いですし，あまり公開する気はありません．もしかしたら研究になるかもしれないし．
いないかもしれないけど，どうしてもっていう人は個人的に連絡ください．
追記: 動画の変化が見づらかったので速度を二倍に変更しました．