記事の概要
ComfyUIとSDXLモデル、AnimateDiffを使って高解像度(1000×1440)・高フレームレート(32)の動画を作成する手順を紹介します。
GeForce RTX 4090であれば、高解像度・高フレームレートのアニメーションを作成することができます。
動画でも解説してます。
環境
OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:64G
python:3.10.10
pytorch:2.0.1
CUDA:11.8
cuDNN:8.8
環境構築
ComfyUIのインストール手順については割愛します。
基本的にComfyUI Managerの「Update ALL」から、最新の状態にアップデートしてください。
また、ComfyUI Managerから以下の「Custom Nodes」をインストールする。
・AnimateDiff
・AnimateDiff Evolved
・ComfyUI Frame Interpolation
・Deforum Nodes
「ComfyUI_windows_portable\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models」フォルダに、以下のページからダウンロードしたMotion Module（mm_sdxl_v10_beta.ckpt）を配置する。
ワークフロー
以下のワークフローで動画を生成する。
ワークフロー用のjsonファイルは以下からダウンロードできます。
Load Checkpoint
チェックポイントを指定するノードで、「sd_xl_base_1.0.safetensors」などのSDXLのモデルを指定する。
（今回はMeinaSDXLのdreamboothモデルを使用している。）
※dreamboothでの再学習手順
AnimateDiff Loader
model_name（motoin_module）:mm_sdxl_v10_beta.ckpt
beta_schedule:linear（AnimateDiff-SDXL）
Ksampler
sampler_name:dpmpp_3m_sde_gpu
scheduler:karras
Load VAE
vae_name:sdxl_vae.safetensors
(deforum) FILM Interpolation
以下の設定で、1フレームが4フレームに増加する。
inter_amount:2
skip_first:false
skip_last:false
以下の設定に変更すると、1フレームが3フレームに増加する。
inter_amount:3
skip_first:true
skip_last:true
(deforum) Save Video
実際に動画を作成するためのノードではないが、このノードがないと想定通り出力ができないため、追加している。
結果
今回の設定だと、だいたい20分から30分程度で１つの動画が出力可能。
24FPSの設定
32FPSの設定