🎤 Wav2Lipでビデオに声を合わせよう！

「Wav2Lip」は、動画の中の人物に、指定した音声をくちパクで合わせる魔法のようなAIツールです！

キービジュアルな日本語の音声を読み上げる動画を作りたい。あるいは、会社のプロモーション動画に読み上げ声を入れたい。
そんなニーズを手込みで解決してくれるのがWav2Lipなのです！

Wav2Lipとは？

「Wav2Lip」は、動画中の人物の唇を、音声のリズムに合わせるための深層学習AIモデルです。

音声と動画を入力として、唇動を自動生成
元のビデオを使用するので、自然な合成が可能
非想像的なアプリケーションも多数

例：非動の表情の人物に、中の音声の指示に合わせて自然なクチパクを付与する

⚡ Google ColabでWav2Lipを実行してみよう

（↑）Colabの準備

Google Colabを開き、メニューの「編集 → ノートブックの設定」で、「GPU」を選択

（→）Python環境の切り替え

%%bash
MINICONDA_INSTALLER=Miniconda3-py37_4.8.2-Linux-x86_64.sh
MINICONDA_DOWNLOAD_HP=https://repo.anaconda.com/miniconda
MINICONDA_PREFIX=/usr/local
wget $MINICONDA_DOWNLOAD_HP/$MINICONDA_INSTALLER
chmod +x $MINICONDA_INSTALLER
./$MINICONDA_INSTALLER -b -f -p $MINICONDA_PREFIX

（→）Google Driveのマウント

from google.colab import drive
drive.mount('/content/drive')
%cd '/content/drive/My Drive/work'

（→）Wav2Lipフォルダのクローン

!git clone https://github.com/Rudrabha/Wav2Lip.git
%cd Wav2Lip
!pip install -r requirements.txt
!pip install resampy==0.3.1

🔧 モデルファイルの配置

下記モデルを「Wav2Lip/checkpoints」配下に置きます
ダウンロード元：https://github.com/Rudrabha/Wav2Lip

🎧 音声 & 動画ファイルの用意

「Wav2Lip/」配下に、以下のファイルを置きます

zunda.wav （声）
zunda.mp4 （動画）

静止画像の動画を使用すると、少し使用メモリーが減れて動作がスムーズです

✨ 推論の実行

!python inference.py \
    --checkpoint_path checkpoints/wav2lip.pth \
    --face zunda.mp4 \
    --audio zunda.wav

🌟 実用アイデア

バーチャルYouTuberのリップ合成
同時読上げでのデモンスピーチ
居ながらプレゼンテーション
回復支援や、視聴覚障害者への合成アイデア

✅ おわりに

Wav2Lipは、ただの動画を「喋る動画」に変える魔法のようなAIです！

また、どんな動画も家庭で生成できることで、小さなプロジェクトから問題解決まで実用性は無限夢です！

次は、この動画をWebで表示する方法や、AIナーチャーとの連携もご紹介しますね🎉