記事の概要

ComfyUIとSDXLモデル、AnimateDiffを使って高解像度(1000×1440)・高フレームレート(32)の動画を作成する手順を紹介します。
GeForce RTX 4090であれば、高解像度・高フレームレートのアニメーションを作成することができます。

動画でも解説してます。

環境
OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:64G
python:3.10.10
pytorch:2.0.1
CUDA:11.8
cuDNN:8.8

環境構築

ComfyUIのインストール手順については割愛します。
基本的にComfyUI Managerの「Update ALL」から、最新の状態にアップデートしてください。

また、ComfyUI Managerから以下の「Custom Nodes」をインストールする。

・AnimateDiff
・AnimateDiff Evolved
・ComfyUI Frame Interpolation
・Deforum Nodes

「ComfyUI_windows_portable\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models」フォルダに、以下のページからダウンロードしたMotion Module（mm_sdxl_v10_beta.ckpt）を配置する。

以下のワークフローで動画を生成する。

ワークフロー用のjsonファイルは以下からダウンロードできます。

チェックポイントを指定するノードで、「sd_xl_base_1.0.safetensors」などのSDXLのモデルを指定する。
（今回はMeinaSDXLのdreamboothモデルを使用している。）

※dreamboothでの再学習手順

model_name（motoin_module）:mm_sdxl_v10_beta.ckpt
beta_schedule:linear（AnimateDiff-SDXL）

sampler_name:dpmpp_3m_sde_gpu
scheduler:karras

vae_name:sdxl_vae.safetensors

以下の設定で、1フレームが4フレームに増加する。

inter_amount:2
skip_first:false
skip_last:false

以下の設定に変更すると、1フレームが3フレームに増加する。

inter_amount:3
skip_first:true
skip_last:true

実際に動画を作成するためのノードではないが、このノードがないと想定通り出力ができないため、追加している。

今回の設定だと、だいたい20分から30分程度で１つの動画が出力可能。