sd-webui-animatediffで高解像度・高フレームレートのクロマキーの動画を作成

記事の概要

Stable Diffusion Web UIでAnimateDiffを使ってクロマキー背景の動画を作成する手順を紹介します。
GeForce RTX 4090であれば、高解像度(896×1120)・高フレームレート(32)のアニメーションを作成することができます。

また、動画でも手順を紹介しています。

環境

OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:64G
python:3.10.10
pytorch:2.0.1
CUDA:11.8
cuDNN:8.8

sd-webui:v1.7.0
sd-webui-animatediff:v1.13.0

環境構築

Stable Diffusion Web UIのインストール手順については割愛します。

ライブラリのインストール

Stable Diffusion Web UIを起動後、「Extensions」タブから、以下のライブラリをインストールする。

■ABG_extension
https://github.com/KutsuyaYuki/ABG_extension.git

■sd-webui-animatediff
https://github.com/continue-revolution/sd-webui-animatediff.git

■deforum
https://github.com/deforum-art/sd-webui-deforum.git

モーションモジュールのダウンロード

以下のページからモーションモジュールをダウンロードし、「stable-diffusion-webui¥extensions¥sd-webui-animatediff¥model」フォルダに格納する。

■v3以外のmotion module
https://civitai.com/models/108836/animatediff-motion-modules

■v3
https://aieasypic.com/inspire/models/detail/animatediff-motion-v3-282581

「--lowvram」の設定

「stable-diffusion-webui」フォルダに格納されている「webui-user.bat」を編集モードで開き、「set COMMANDLINE_ARGS」に「--lowvram」を追記する。

@echo off

set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=--xformers --lowvram
set PYTORCH_CUDA_ALLOC_CONF=garbage_collection_threshold:0.6, max_split_size_mb:128

call webui.bat

画像生成

以下の値を設定し、「Generate」ボタンを押下する。

checkpoint：基本的には自由。（今回はmeinamixのDreamboothモデル）
タブ：txt2img（固定）
Sampling method：使っているcheckpointで決定する。（今回は「DPM++ 2M SDE Karras」を使う）
Sampling steps：使っているcheckpointで決定する。（今回は「20」）
Width：基本的には自由。（今回は「640」）
Height：基本的には自由。（今回は「800」）
Script：以下の状態にする。（色は黄緑色であればなんでもよい）

アニメーション生成

以下の値を設定し、「Generate」ボタンを押下する。

checkpoint：基本的には自由。（今回はmeinamixのDreamboothモデル）
タブ：img2img（固定）
画像：クロマキー背景の画像で、被写体の状態がわかりやすい画像
ポジティブプロンプト：「simple background」や「green background」を含めることで、背景を安定させる
ネガティブプロンプト：木や水、鞄、ガーターベルトなどの余計なものが描画される場合は、plant,grass,water,bag,garter beltなどを含めて、抑制する。
Sampling method：使っているcheckpointで決定する。（今回は「DPM++ 2M SDE Karras」を使う）
Sampling steps：使っているcheckpointで決定する。（今回は「20」）
Resize to/Resize by：どちらでも良いので、適切なサイズになるように設定する。（今回は「896×1120」となるように設定）
Denosing strength：0.8から0.88
Motion module：mm_sd_v14.ckpt
Enable AnimateDiff：チェックあり
Number of frames：168
FPS：32
Frame Interpolation：FILM
Interp X：4
Latent power：0.1
Optional latent power for last frame：0.1
last frame：インプットの画像と同じ画像

GeForce RTX 4090でこの設定であれば、45分程度ぐらいで動画が作成されるはず。

補足

設定などを変更していないのに、PCが落ちるようになった場合に、以下の２点を試してください。
①PCの電源を落とし、PCから電源コードを抜いて、10分ほど放置する。（放電）
②checkpointを変更し、変更後のcheckpointで１度画像生成 or 動画生成をする。（キャッシュのリフレッシュ）