Wan2.1 VACE 1.3B で画像からの動画生成をコントロールする実例集

コンパクトなモデルで、数分で生成できる

A100 GPUで数分で生成。A10でも生成できる。しかもそこそこ綺麗。
動画生成AIの中ではトップレベルでコスパいい。

いろんな制御方法があるので、例は随時追記していきます。

Image2Video

元画像 / 出力動画

python vace/vace_preproccess.py --task image_reference \
    --mode salient \
    --image "girl.jpg"

python vace/vace_wan_inference.py \
  --src_ref_images "processed/image_reference/{DATE}/src_ref_image-image_reference.png" \
  --prompt "A girl is smiling and walking slowly towards the camera. Highly detailed facial drawing."

Face2Video

元画像 / 前処理結果 / 出力動画

python vace/vace_preproccess.py --task image_face --image processed/image_reference/2025-06-01-01-13-38/src_ref_image-image_reference.png

python vace/vace_wan_inference.py \
  --ckpt_dir models/Wan2.1-VACE-1.3B/ \
  --src_ref_images processed/image_face/{DATE}/src_ref_image-image_face.png \
  --prompt "Girl in robot suit shooting lasers from her hands. Highly detailed facial features."

Video2Depth2Video

元動画 / 前処理結果 / 出力動画

python vace/vace_preproccess.py --task image_face --image processed/image_reference/2025-06-01-01-13-38/src_ref_image-image_reference.png

python vace/vace_wan_inference.py \
  --ckpt_dir models/Wan2.1-VACE-1.3B/ \
  --src_ref_images processed/image_face/{DATE}/src_ref_image-image_face.png \
  --prompt "Girl in robot suit shooting lasers from her hands. Highly detailed facial features."

VideoInpaint2Video

元動画 / 前処理結果 / 出力動画

python vace/vace_preproccess.py --task inpainting --mode salientmasktrack \
   --video 12744585_1080_1920_100fps.mp4 --label person --maskaug_mode original_expand --maskaug_ratio 0.3

python vace/vace_wan_inference.py \
    --src_video processed/inpainting/{DATE}/src_video-inpainting.mp4\
    --src_mask processed/inpainting/{DATE}/src_mask-inpainting.mp4 \
    --prompt "老虎望着大海，站起身走开。场景逼真。"