LipSync動画作成の背景

まず、モーションAIから説明させてください。この記事を読まれている方はご存知かもしれないが、モーションAIとは、音声データから「発話のリズム・イントネーション」を自動解析し、AIモデルが「口の開閉」「表情の変化」「頭や体の動き」を推定して動画を生成する技術である。

現在、Youtubeなどの動画投稿サイトでモーションAI技術は急速に普及しているようで、DreamFaceやD-ID、HeyGenなどのサービスを使えば、ブラウザ上で顔写真と音声（またはテキスト）をアップロードすることで自動で口の動きやまばたき、表情変化も含めた動画を簡単に生成することができる。

しかし、仕事でLipSync技術を使うことになりそうなので、この技術についてオープンソースを使って深掘りしたいと思う。

オープンソースのSadTalkerとWav2Lip

少し調べたところ、LipSyncで有名なオープンソースにSadTalkerとWav2Lipというものがあるらしい。

SadTalker

Wav2Lipより進化した「表情付き」のリップシンクAI
顔画像＋音声で自然に目や表情も動く
長時間でもOK（ただし処理時間はかかる）
👉 https://github.com/OpenTalker/SadTalker

Wav2Lip

GitHub公開の有名なリップシンクAI
顔の動画＋音声ファイルを入力すると、長時間でも自然な口パクを生成
研究用途だけどYouTuberも結構使ってます
Python + PyTorch 環境が必要（ローカルPCで動かす）
👉 https://github.com/Rudrabha/Wav2Lip

Wav2Lipはインストールプロセスが比較的複雑で、特定のライブラリのバージョンを指定したり、追加のセットアップが必要になる場合がある。一方、SadTalkerは、依存関係の管理が比較的シンプル。ということで、今回はSadTalkerを試したいと思う。

SadTalkerをローカルにインストールして実行

ローカル開発環境

ubuntu 22.04, Python 3.10.12

依存関係のインストール

$ sudo apt-get update
$ sudo apt-get install ffmpeg libsm6 libxext6 -y

仮想環境の作成と有効化

$ sudo python3 -m venv sadtalker_env
$ ls
sadtalker_env
$ source sadtalker_env/bin/activate

SadTalkerリポジトリのクローン

$ git clone https://github.com/Winfredy/SadTalker.git
$ cd SadTalker
$ pip3 install -r requirements.txt

事前学習済みモデルのダウンロード

$ bash scripts/download_models.sh
※1.5Gぐらいあるらしく、結構ダウンロードに時間かかります

動画生成コマンドの実行

$ python3 inference.py --driven_audio ./input_audio.wav --source_image ./input_image.jpg --result_dir ./results --preprocess full --still --expression_scale 1.0 --pose_scale 1.0
Traceback (most recent call last):
// 省略
from torchvision.transforms.functional_tensor import rgb_to_grayscale
ModuleNotFoundError: No module named 'torchvision.transforms.functional_tensor'

何いいいいいいい、エラーになる。。。

何度やってもエラーになるので、Hugging Face Spaces公開されているSadTalkerで画像、音声ファイルを実行することにしました。
※Hugging FaceでSadTalkerを試したい場合は、「Spaces」から検索して、提供されているデモを使用します。
👉 https://huggingface.co/

SadTalkerで作成したLipSync動画

元画像

代々木公園でモデルさんを撮影させていただきました。(記事に掲載することについてご本人の承諾をいただいております)

音声

VOICEVOXでテキストからwavファイルを作成します。
音声ファイルはこちら

SadTalkerで作成したLipSync動画

Your browser does not support the video tag.

👉 https://hpscript.s3.ap-northeast-1.amazonaws.com/output_audio-0-100.mp4

まとめ

SadTalkerとD-IDで作成したLipSync動画を見比べてみましたが、SadTalkerの方が、表情への反映などが品質が良い印象ですね。
もっと本格的にやる場合は、音声もVOICEVOXで作成するのではなく、声優さんなどから5分以上録音し、その特徴量を抽出して音声データから実際のVoiceを合成するなどもできるようです。

備考: モデルさんの撮影など新鮮で、色々勉強になりました。