【最新モデルを試す】PF-AFN: バーチャル試着

背景

　インテル×日立AIハッカソンに参加しているのだが，同じチームにとってもスゴい人がいて，曰く最新モデルが出ると自分で試さずにはいられないらしい．そんな彼の最新モデルをとにかく試してみるというノウハウを盗んできたので，ここで共有したい．以前の自動運転のときと同様ではあるが，簡単に最新論文の挙動を試せるので，私も不定期に行っていきたい所存．
　最新の技術で何がどこまでできるようになっているのか実感できるので，良い趣味だと思う．実際，下記で試したPF-AFNは上半身の画像ならなかなかの精度だが，全身画像になったり，自撮り画像になったりするだけでまったく使い物にならなくなることが分かる．

PF-AFN

　とりあえず一回目は，そのハッカソンでも用いているPF-AFNでバーチャル試着を行ってみる．本論文の凄いところは，パースフリーなところで，人と服のセグメンテーション情報をinputに必要としないところ．以前のモデルではセグメントが少しでもずれると精度が著しく落ちていたが，その問題を改善した．

• CVPR2021: https://arxiv.org/abs/2103.04559
• https://github.com/geyuying/PF-AFN
• 実行Colab: https://colab.research.google.com/drive/1IpnpdT672AqDo6TTbN5rGsOa8ei2-17S?usp=sharing

実験結果

所感

　店舗で使うなら全身．でもおうちで使うアプリ用なら自撮りに対応すべきでは．
　あと実際のニーズって，ちょっと違う気がする．試着の目的って来てみた雰囲気よりもサイズとか着心地を確かめるためな気が．