はじめに
今回は、一枚のイラストや3Dアバタの画像キャプチャを用意するだけで、リアルタイムに表情をトラッキングして動くアバタを作ることができる「Talking Head(?) Anime from a Single Image」を試してみました。
検証には、バージョン3を利用しました。
以下の環境で検証を行っています。
| 項目 | |
|---|---|
| OS | Windows 11 |
| CPU | AMD Ryzen 7 5700X |
| メインメモリ | 64GB |
| GPU | NVIDIA GeForce RTX 3090 |
| トラッキングアプリ検証端末 | iPhone XR, iPhone 14 Pro Max |
準備：「talking-head-anime-3-demo」の動作環境構築
「talking-head-anime-3-demo」の環境構築、設定の仕方は以下の記事が大変参考になりましたのでご覧ください。
手順1. イラスト、3Dモデルの画像キャプチャを準備する
- 用意するのは正面を向いたイラストや3Dモデルのキャプチャたった一枚だけです。今回は、VRoid Studioのサンプルモデルの正面をキャプチャしたものを用意しました。
-
パーツを認識するため、入力となる画像は顔の位置を揃える必要があります。
-
画像編集ソフトを使い、ソースコードに内蔵されているサンプル画像と重ね合わせると位置を合わせやすいです。
今回は検証のため、背景透過は適当に処理しています。髪など細かい領域の透過処理を入念に行うとさらに自然に見えると思います。
- 編集が終了したら、サンプル画像と同じようにPNGで保存します。
- ここで注意として、背景の部分は透過しておかないとエラーになるため注意してください。
手順2. talking-head-anime-3-demoを起動する
- GUIアプリを起動します。
python tha3/app/ifacialmocap_puppeteer.py
- 左下の「Load Image」ボタンを押し、先ほど保存した画像を選択すると右側に動くアバタが表示されます。
- 真ん中の設定では、アプリからのモーションキャプチャでは表現しきれない、瞳孔の大きさ（小さくするとびっくりした表情を作れる）や眉毛の表情（怒っている／困っているなど）、呼吸の速さなどを変えることができます。
- 右下のBackgroundで、カラーキーとして使うための緑背景などを選択できます。
手順3. フェイスモーションアプリを接続
iPhone, iPadでApp Storeから「iFacialMocapTrial」をダウンロードします。
- このアプリでは顔の向き、黒目の位置、眉の上下・角度などをキャプチャできます。
画面上に表示されたローカルIPアドレスを「talking-head-anime-3-demo」の画面の上にあるIPアドレス欄に入力します。
- 右上の「START CAPTURE!」をクリックするとリアルタイムに顔が動きます！
手順4. OBSを利用してアバタが映る仮想カメラを作る
- 「ソース」 ＞ 「ウィンドウキャプチャ」で「ifacialmocap_puppeteer」のウィンドウを選択します。
- ソースに追加されたオブジェクトを右クリックし、「フィルタ」＞「カラーキー」を設定します。
- 「ソース」＞「画像」から任意の画像を後ろに配置すると、背景とアバタを合成できます。
- OBSの右下にある「仮想カメラを開始」ボタンを押すと、別のアプリケーションで映像の入力ソースとして認識されるようになります。
手順5. Zoomで配信開始！
- Zoomの設定でビデオのソースを「OBS Virtual Camera」に変更すると、ZoomのビデオがOBSで設定した画面になります。
※OBSで仮想カメラを作って別途Zoomの画面を録画するためBandicamを利用してキャプチャしました（OBSにも録画機能があります）。
どれくらい表情豊かに顔を動かせるか
実際にトラッキングを行いながらどれだけアバタの表情を変えられるか試してみました。ここまで黙々と画面とにらめっこしたのは初めてかもしれません（笑）
GUI上では、呼吸の速度の他に、瞳孔の大きさ、眉の動き方、ウインクの動作など複数のパラメータを変更できる機能があるため、これを調整しながらトラッキングするとかなり表現力が高いと思います。
たった一枚のイラストから作ったとは思えないほど表情を変えることができ、びっくりしました。
いろいろなイラスト・写真でアバタ化した時の動作風景
※GIFのため、画質・フレームレートを落としています
VRoidサンプルモデル
ずんだもん
「Zoomにボクに似たヤツがいるのだ。オマエだれなのだ。」と言われんばかりに動かせています。
自作デフォルメイラスト（星野アイ）
以前描いた自作のデフォルメイラストを入力してみました。
よく見ると変な動きはありますが、ここまでデフォルメした適当なイラストでも眉毛や口を認識し、リアルタイムに動きを表現できています。
番外編：リアルな顔写真を入力してみた
イラストに特化したモデルではあるものの、「リアルな顔写真を入れたらどうなるのか？？」と気になり、試してみました。
今回は「ぱくたそ」さんから画像をお借りしました。
若干無理はあるものの、一応動きました！！
大人数が参加するZoom会議で、自分が映るのが小さければ自然に見えてしまいそうです。
イラストと比べると質は低いですが、リアルの顔写真も動かせるとなると、DeepFakeとしても利用できてしまうかもしれません。実際、このおじさまになりきってZoomに参加することができてしまいました。
さいごに
この記事では一枚のイラストから動くアバタを作る方法を紹介しました。
快適に動作するスペックの要件は高いですが、かなり自然にアバタを動かせることがわかりました！ぜひお手元のイラストや写真でお試しください。