https://www.semanticscholar.org/paper/Makeup-like-a-superstar-Deep-Localized-Makeup-Liu-Ou/94b6300685d11e583fd35de555d8eaf996cf3eda
IJCAI 16

モチベーション

・ある顔に対して、似合いそうなメイクをレコメンドしたい＆そのメイクをシミュレートしたい

・(i)でメイクのレコメンド、(ii)でレコメンドしたメイクをtransferする (iiの部分が気になったので読んだ)

手法

・(i)のレコメンドの部分は学習済みのモデルを使って似ている顔の人をレコメンドするだけ・（ii) まず、FCNで顔をSegmentationする

で、パーツ毎にtransferしていく
・Eye Shadow

sr : referenceの目のbinary mask
sb : before-makeupの目のbinary mask
R(s'r) : referenceのeye shadow
A(s'b) : after-makeupのeye shadow
Ω : H×W×C次元→d次元にする FCNの中間層の出力
つまり、d次元空間でR(s'r)との距離が近くなるようなAを求める
CNNの中間層をどういじるとreferenceのeye shadownっぽくなるかを求めてる

(referenceのメイクがbefore-makeupにtransferされてafter-makeupになる)

・Lip Gloss
・Foundation
このへんもEye Shadowとだいたい同じ考え方だとおもう

結果

他の手法と比べてもいい感じになった

アンケート取ってもbetterだった

感想

・手法としては普通っぽかったので途中からちゃんと読んでない、なんとなく理解した・多分Segmentationがうまくできてるから出力がきれいなんだと思う