Stable Diffusion Web UI + AnimateDiff
AnimateDiff を使ってみたので, 手順と感想など
動作環境
- OS: Ubuntu Server 22.04.5 LTS
- NVIDIA ドライバ: nvidia-driver-565-server
- CPU: AMD Ryzen 3700X
- RAM: DDR4 64GB
- GPU: NVIDIA RTX 3090 FE
Stable Diffusion Web UI インストール
-
リポジトリを clone
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git -
python 3.10 をインストール (今回は conda で構築)
conda create -n python3.10 python=3.10 conda activate python3.10 -
webui-user.shで指定されているコマンドライン引数を修正- export COMMANDLINE_ARGS="" + export COMMANDLINE_ARGS="--listen --xformers --enable-insecure-extension-access"-
--listen: ローカルネットワーク上の他の PC からアクセスできるようにする -
--xformers: 画像生成が高速化されるらしい -
--enable-insecure-extension-access: 拡張機能を Web UI からインストールできるようにする
-
-
webui.shを実行bash webui.shvenv が自動で作成され, pip パッケージがいろいろインストールされる.
-
適当な PC で Web UI にアクセス
http://ubuntu-server.local:7860/
このような画面が表示されるはず.
AnimateDiff インストール
-
Extensions > Install from URL で以下の URL を貼り付けて "Install" をクリック
https://github.com/continue-revolution/sd-webui-animatediff.git
-
Extensions > Installed で "Apply and restart UI" をクリック
-
成功していれば, txt2img のページに "AnimateDiff" という項目が追加されているはず.
-
AnimateDiff を有効にするには
- "Enable AnimateDiff" にチェックを入れる.
- "Motion Module" でモデルを指定する.
モデルのダウンロード
- Stable Diffusion のモデル と AnimateDiff のモデル (Motion Module) が必要.
- Stable Diffusion のモデルは
models/Stable-diffusion/以下に置く. - AnimateDiff のモデルは
extensions/sd-webui-animatediff/model/以下に置く.
今回は以下のモデルを使用した.
- Stable Diffusion: 7th_anime_v3_A
https://huggingface.co/syaimu/7th_Layer - Motion Module: animatediffMotion_v15V2
https://civitai.com/models/108836/animatediff-motion-modules
Stable Diffusion のモデル形式に対応した Motion Module でないと, 動作しない点に注意.
実行結果
パラメータの設定
ほぼデフォルトのまま. フレーム数だけ 64 に変更.
1. singing
- Prompt: masterpiece, best quality, 1girl, singing
- Negative prompt: (なし)
2. dancing
- Prompt: masterpiece, best quality, 1girl, dancing
- Negative prompt: (なし)
感想
- 画像の人物が徐々に変わってしまう...
- 歌っている, 踊っている という特徴を AI がよくつかんでいるように思える.
- (やたら茶色っぽくなるのはモデルの癖？)