モチベーション
・ある顔に対して、似合いそうなメイクをレコメンドしたい＆そのメイクをシミュレートしたい
・(i)でメイクのレコメンド、(ii)でレコメンドしたメイクをtransferする
(iiの部分が気になったので読んだ)
手法
・(i)のレコメンドの部分は学習済みのモデルを使って似ている顔の人をレコメンドするだけ ・（ii) まず、FCNで顔をSegmentationする
で、パーツ毎にtransferしていく
・Eye Shadow
sr : referenceの目のbinary mask
sb : before-makeupの目のbinary mask
R(s'r) : referenceのeye shadow
A(s'b) : after-makeupのeye shadow
Ω : H×W×C次元→d次元にする FCNの中間層の出力
つまり、d次元空間でR(s'r)との距離が近くなるようなAを求める
CNNの中間層をどういじるとreferenceのeye shadownっぽくなるかを求めてる
(referenceのメイクがbefore-makeupにtransferされてafter-makeupになる)
・Lip Gloss
・Foundation
このへんもEye Shadowとだいたい同じ考え方だとおもう
結果
他の手法と比べてもいい感じになった
アンケート取ってもbetterだった