Avatarifyで他人の顔を乗っ取り、web会議に出席する

Zoom Hacking連載

①FaceRig/SnapCamera+VT-4で参加したZoomをOBS経由でRTMP配信するまで
②VMCをOBS VCでZoom〜バ美声をVACしたものを添えて〜
③Zoomで小技を出しつつも、こいつオタクなのかな？と思われたくない iVCam+DroidCamをOBS VCから流す方法
④Spark AR Studioで、他人の顔を自分の顔に被せてWeb会議に出席する
⑤Avatarifyで他人の顔を乗っ取り、web会議に出席する

概要

昨今、Zoomを始めとするWeb会議システムの利用が増えており、それに関わる技術にも注目が集まっている。
今回は、自分の顔の動きに連動して、他人の写真が動くAvatarifyを利用し、ひげを剃らなくてもweb会議に出席できるようにする。

Avatarify

https://github.com/alievk/avatarify
README.mdに従うだけなので、あまり書くことはありません。

私はMacbook Pro 2019ユーザーですが、GTX1080Tiを積んだWindowsがあったので、そちらを用いました。
素直に Miniconda Python 3.7 を入れ、下記の通り実行しました。

git clone https://github.com/alievk/avatarify.git
cd avatarify
scripts\install_windows.bat'

Download network weights and place vox-adv-cpk.pth.tar file in the avatarify directory (don't unpack it).
Run run_windows.bat. If installation was successful, two windows "cam" and "avatarify" will appear. Leave these windows open for the next installation steps. If there are multiple cameras (including virtual ones) in the system, you may need to select the correct one. Open scripts/settings_windows.bat and edit CAMID variable. CAMID is an index number of camera like 0, 1, 2, ...

私はカメラ1だったので、scripts/settings_windows.batのCAMIDを0から1にしました。
写真の切り替えは、起動後に数字の0~9で行います。

その後のOBSVCの話は②VMCをOBS VCでZoom〜バ美声をVACしたものを添えて〜
で扱った内容ですね。

私の環境だと、まだまだ改善が必要そうです。

#avatarify GTX 1080 Ti ですが、実用には耐え難い。私が平たい顔族だからですね分かります。カメラに近付くともっと乱れます。 pic.twitter.com/sj0aMtWRzH

— 今川哲矢 (@TetsuyaImagawa) April 21, 2020

Fake Newsが誰でも簡単に作れる未来が近そうですね…