記事の概要
以下の記事で紹介している手順は、motion moduleが「mm_sd_v14.ckpt」の前提となっているため、「mm_sd_v14.ckpt」以外のmotion moduleでの手順を模索する。（特に「v3_sd15_mm.ckpt」）
上記の手順では、高解像度（896×1120）にすると、動画が破綻するので、高解像度が可能な設定の模索を目標としている。
先に結論だけ記載しておくと、dreamboothモデルは使用せず、civitaiなどからダウンロードしたモデルをそのまま使うと破綻が少ない。
また、dreamboothモデルを使う場合でも、800×1000などで解像度を落とせば、かなり破綻が減る。
環境
OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:64G
python:3.10.10
pytorch:2.0.1
CUDA:11.8
cuDNN:8.8
sd-webui:v1.7.0
sd-webui-animatediff:v1.13.0
環境構築
以下の記事の構築手順を実施する。
画像生成
以下の記事の構築手順を実施する。
アニメーション生成
以下のキャプチャの設定で「Generate」ボタンを押下する。
何度か試した結果、「mm_sd_v14.ckpt」以外のmotion moduleでは、dreamboothで再学習したモデルは使わない方がよさそうという結論。（今回はmeinamixのモデルをckptとして利用している。）
そもそも、解像度の限界を感じる。