はじめに

今回は、一枚のイラストや3Dアバタの画像キャプチャを用意するだけで、リアルタイムに表情をトラッキングして動くアバタを作ることができる「Talking Head(?) Anime from a Single Image」を試してみました。

検証には、バージョン3を利用しました。

以下の環境で検証を行っています。

準備：「talking-head-anime-3-demo」の動作環境構築

「talking-head-anime-3-demo」の環境構築、設定の仕方は以下の記事が大変参考になりましたのでご覧ください。

用意するのは正面を向いたイラストや3Dモデルのキャプチャたった一枚だけです。今回は、VRoid Studioのサンプルモデルの正面をキャプチャしたものを用意しました。

今回は検証のため、背景透過は適当に処理しています。髪など細かい領域の透過処理を入念に行うとさらに自然に見えると思います。

python tha3/app/ifacialmocap_puppeteer.py

真ん中の設定では、アプリからのモーションキャプチャでは表現しきれない、瞳孔の大きさ（小さくするとびっくりした表情を作れる）や眉毛の表情（怒っている／困っているなど）、呼吸の速さなどを変えることができます。
右下のBackgroundで、カラーキーとして使うための緑背景などを選択できます。

iPhone, iPadでApp Storeから「iFacialMocapTrial」をダウンロードします。

画面上に表示されたローカルIPアドレスを「talking-head-anime-3-demo」の画面の上にあるIPアドレス欄に入力します。

※OBSで仮想カメラを作って別途Zoomの画面を録画するためBandicamを利用してキャプチャしました（OBSにも録画機能があります）。

実際にトラッキングを行いながらどれだけアバタの表情を変えられるか試してみました。ここまで黙々と画面とにらめっこしたのは初めてかもしれません（笑）

GUI上では、呼吸の速度の他に、瞳孔の大きさ、眉の動き方、ウインクの動作など複数のパラメータを変更できる機能があるため、これを調整しながらトラッキングするとかなり表現力が高いと思います。
たった一枚のイラストから作ったとは思えないほど表情を変えることができ、びっくりしました。

※GIFのため、画質・フレームレートを落としています

「Zoomにボクに似たヤツがいるのだ。オマエだれなのだ。」と言われんばかりに動かせています。

以前描いた自作のデフォルメイラストを入力してみました。

よく見ると変な動きはありますが、ここまでデフォルメした適当なイラストでも眉毛や口を認識し、リアルタイムに動きを表現できています。

イラストに特化したモデルではあるものの、「リアルな顔写真を入れたらどうなるのか？？」と気になり、試してみました。
今回は「ぱくたそ」さんから画像をお借りしました。

若干無理はあるものの、一応動きました！！
大人数が参加するZoom会議で、自分が映るのが小さければ自然に見えてしまいそうです。

イラストと比べると質は低いですが、リアルの顔写真も動かせるとなると、DeepFakeとしても利用できてしまうかもしれません。実際、このおじさまになりきってZoomに参加することができてしまいました。

この記事では一枚のイラストから動くアバタを作る方法を紹介しました。
快適に動作するスペックの要件は高いですが、かなり自然にアバタを動かせることがわかりました！ぜひお手元のイラストや写真でお試しください。