🎤 Wav2Lipでビデオに声を合わせよう！
「Wav2Lip」は、動画の中の人物に、指定した音声をくちパクで合わせる魔法のようなAIツールです！
キービジュアルな日本語の音声を読み上げる動画を作りたい。あるいは、会社のプロモーション動画に読み上げ声を入れたい。
そんなニーズを手込みで解決してくれるのがWav2Lipなのです！
Wav2Lipとは？
「Wav2Lip」は、動画中の人物の唇を、音声のリズムに合わせるための深層学習AIモデルです。
- 音声と動画を入力として、唇動を自動生成
- 元のビデオを使用するので、自然な合成が可能
- 非想像的なアプリケーションも多数
例：非動の表情の人物に、中の音声の指示に合わせて自然なクチパクを付与する
⚡ Google ColabでWav2Lipを実行してみよう
（↑）Colabの準備
- Google Colabを開き、メニューの「編集 → ノートブックの設定」で、「GPU」を選択
（→）Python環境の切り替え
%%bash
MINICONDA_INSTALLER=Miniconda3-py37_4.8.2-Linux-x86_64.sh
MINICONDA_DOWNLOAD_HP=https://repo.anaconda.com/miniconda
MINICONDA_PREFIX=/usr/local
wget $MINICONDA_DOWNLOAD_HP/$MINICONDA_INSTALLER
chmod +x $MINICONDA_INSTALLER
./$MINICONDA_INSTALLER -b -f -p $MINICONDA_PREFIX
（→）Google Driveのマウント
from google.colab import drive
drive.mount('/content/drive')
%cd '/content/drive/My Drive/work'
（→）Wav2Lipフォルダのクローン
!git clone https://github.com/Rudrabha/Wav2Lip.git
%cd Wav2Lip
!pip install -r requirements.txt
!pip install resampy==0.3.1
🔧 モデルファイルの配置
- 下記モデルを「Wav2Lip/checkpoints」配下に置きます
- ダウンロード元：https://github.com/Rudrabha/Wav2Lip
🎧 音声 & 動画ファイルの用意
「Wav2Lip/」配下に、以下のファイルを置きます
- zunda.wav （声）
- zunda.mp4 （動画）
静止画像の動画を使用すると、少し使用メモリーが減れて動作がスムーズです
✨ 推論の実行
!python inference.py \
--checkpoint_path checkpoints/wav2lip.pth \
--face zunda.mp4 \
--audio zunda.wav
🌟 実用アイデア
- バーチャルYouTuberのリップ合成
- 同時読上げでのデモンスピーチ
- 居ながらプレゼンテーション
- 回復支援や、視聴覚障害者への合成アイデア
✅ おわりに
Wav2Lipは、ただの動画を「喋る動画」に変える魔法のようなAIです！
また、どんな動画も家庭で生成できることで、小さなプロジェクトから問題解決まで実用性は無限夢です！
次は、この動画をWebで表示する方法や、AIナーチャーとの連携もご紹介しますね🎉