はじめに
オンライン会議などで、他人になりすませるAvatarifyをやってみました。
システム環境
- Windows10（RTX2080 Max-Q、i7-8750H、RAM16GB）
- Anaconda 2020.02
- Python 3.7
- CUDA 10.0
導入
avatarifyをクローンします。
avatarify用の環境を作ります。
$ cd avatarify-master
$ conda create -n avatarify python=3.7
$ conda activate avatarify
ライブラリをインストールします。
$ pip install torch==1.2.0 torchvision==0.4.0 -f https://download.pytorch.org/whl/torch_stable.html
$ pip install -r requirements.txt
CUDA 10.0をインストールします。（無くても動くかも。）
vox-adv-cpk.pth.tarをダウンロードし、avatarify-masterフォルダに置きます。解凍はしなくていいです。
first-order-modelをクローンし、avatarify-masterフォルダに置きます。（LICENSE.md、README.md、requirements.txtは除く）
下記を実行しましょう。最初はface detection CNN、Face Alignment Network(FAN)をダウンロードするので時間がかかります。--cam 0のところの数字を1,2,3と変えるとカメラ入力の変更ができます。
$ python cam_fomm.py --config config/vox-adv-256.yaml --cam 0 --relative --adapt_scale --no-pad --checkpoint vox-adv-cpk.pth.tar
開始したら、正面向いてxキーを押してアバターの位置をリセットしてください。うまく表示されるようになると思います。あとはスマホのライトを顔に当てて明るいところでやってみてください。あとは顔をできるだけ近づけるか、カメラをズームインしたほうがいいようです。
1-9: 各キーに設定されたアバターに切り替え
0: アバターの表示/非表示（カメラ入力そのまま）
a: 前のアバター
d: 次のアバター
w: カメラのズームイン
s: カメラのズームアウト
q: StyleGANのアバターを読み込み
x: アバターの位置をリセット
c: カメラにアバター重ねて表示(濃くなる
z: カメラにアバター重ねて表示(薄くなる
i: FPSなどの情報表示
r: カメラのミラー表示
t: アバターのミラー表示
f: 毎フレームトラッキングモードに切り替え（遅くなる
ESC: アプリの終了
Avatarify Demo #アバター #顔交換 #FaceSwap #AI #画像処理 #DeepLearning #機械学習 #CV #GAN #FOMM #NeurIPS2019 #Zoom #Teams #オンライン会議 pic.twitter.com/jDu3qQzRKF
— 藤本賢志(ガチ本)@pixivFANBOXはじめました (@sotongshi) April 27, 2020
あとはOBSとかでZoomのカメラ入力にすればOK。
お疲れ様でした。