0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Seedance 2.5 の3つの入り口を使い分ける(音声と参照素材まわりの制約メモ)

0
Posted at

Seedance 2.5 の3つの入り口を使い分ける(音声と参照素材まわりの制約メモ)

はじめに

Seedance 2.5 を触りはじめて最初に困ったのは、機能そのものではなく「今回はどこから入ればいいのか」でした。

テキストから、画像から、手持ちの素材から。入り口が3つあって、どれを選んでも一応それらしい動画は出てきます。ただ後から見ると、選び方を間違えていたせいで遠回りしていた、というのが何本かありました。渡せるはずの素材が渡せないモードで作業していた、というのが典型です。

なのでこの記事は、機能の一覧ではなく手元にあるものから入り口を逆引きする書き方にします。ついでに、一覧表だけ見ていると気づけない素材まわりの制約をまとめました。

使っているのは clipdance.ai というブラウザのスタジオです。モデル自体は ByteDance のもので、ここは公式ではなく、複数のモデルを1画面から動かせるサードパーティのスタジオになります。

なお 2.0 から 2.5 で何が変わったかは別記事に書いたので、ここでは差分の話は最小限にします。

先に結論:手元にあるもので入り口が決まる

手元にあるもの 選ぶ入り口 先に押さえる所
言葉だけ Text to Video 音声が既定でオン
動かしたい絵が1枚(+着地の1枚) Image to Video / First + Last Frame 比率は入力画像に従う
世界観の資料が何枚もある Image to Video / Multi-Reference 画像は30枚まで
手持ちの映像や音を素材にしたい Reference to Video 動画・音声は合計30秒まで

一番間違えやすいのが3行目と2行目の取り違えです。同じ Image to Video の中でモードが分かれていて、既定は First + Last Frame のほうなので、資料を何枚も渡すつもりで開くと1枚しか入りません。

場面1:台詞のある短尺を1本で撮り切る

2.5 は音声を映像と一緒に出します。しかもトグルは既定でオンです。2.0 は逆で、既定オフでした。

台詞を入れたい場合、書き方に決まりがあります。話す台詞は二重引用符で囲みます。囲んだ部分が発話として扱われる、という規約です。

カフェのカウンター席。窓の外は雨。
女性がコーヒーカップを置いて、正面の相手に向き直る。
"それ、先週も同じこと言ってたよ"
相手は答えず、外を見たまま。カメラは女性の肩越しに固定。

ここで一点、事前に知っておくと設計が変わる所があります。音声のトグルは1個しかありません。オンにすると、台詞・効果音・BGM がまとめて乗ります。「台詞だけ欲しい、環境音とBGMは自分で当てたい」という中間の指定は、少なくとも画面上の項目としては用意されていません。

つまり選択肢は実質2つです。音まわりを丸ごとモデルに任せるか、トグルを切って全部自分で作るか。編集ソフトに持ち込んで音を積む前提のワークフローを組んでいるなら、生成前に切っておくほうが後が楽です。

尺は最大30秒あるので、一往復くらいの会話ならカットを割らずに収まります。台本を書くときは、秒数から逆算するより「何を言わせるか」を先に決めて、収まらなければ削るほうが早かったです。

場面2:静止画を動かす。2つのモードは用途が別

Image to Video を開くと Image Mode という項目があり、ここで挙動が大きく変わります。

First + Last Frame は、1枚目を必須、最後の1枚を任意で受け取って、その間を繋ぐモードです。手持ちの絵をそのまま動かしたいとき、あるいは始点と終点が決まっていて途中を埋めたいときはこちらになります。

このモードではアスペクト比の項目が表示されません。入力画像の比率にそのまま従う仕様で、他の値を指定しても上流で弾かれるためです。正方形の画像を渡せば正方形の動画が出ます。ここで具体的にやらかした話は Midjourney と組み合わせた別記事に書いたので繰り返しませんが、素材側の比率が最終的な比率になる、という理解でいるのが安全です。

Multi-Reference は性格が違って、渡した画像を「動かす対象」ではなく「寄せる先の資料」として使います。こちらは最大30枚。人物が写った実写も参照として受け付けます。

同じメニューの中に並んでいるので混同しやすいのですが、前者は「この絵を動かす」、後者は「この資料に似せて作る」で、渡すべき画像の性質からして違います。First + Last のまま資料を投げ込もうとして枠が1つしかない、というのが最初にやった間違いでした。

受け付ける画像形式は JPEG / PNG / WEBP / BMP / TIFF / GIF / HEIC で、1枚あたり 30MB 未満です。

なお 2.5 では画像から動かす場合もプロンプトが必須になっています。2.0 は画像だけで通りました。ここは移行記事のほうで詳しく書きました。

場面3:手持ちの映像や音を素材にする

Reference to Video が2.5で一番伸びた面だと思っています。画像・動画・音声を同時に渡せて、上限はそれぞれ画像30枚、動画10本、音声10本です。

ただ、本数だけ見ていると設計を外します。動画と音声には合計秒数の上限があります。

素材 本数 1本あたり 合計 容量
参照画像 30枚 ー ー 30MB / 枚
参照動画 10本 2〜30秒 30秒以内 200MB / 本
参照音声 10本 2〜30秒 30秒以内 15MB / 本

10本渡せるのに合計30秒、という組み合わせなので、本数を使い切ろうとすると1本あたり3秒しか割けません。逆に30秒の動画を1本渡すと、そこで枠は終わりです。

実務上ここが効くのは、素材を切り出す段階で秒数を予算として配分する必要があるという点です。手元の長い映像からそのまま雰囲気を移植する、という使い方はできません。参考にしたい動きが写っている数秒を先に切り出して、それを何本並べるかを決める作業が前段に入ります。カメラワークを真似させたいなら動きが完結している数秒、光や質感を寄せたいなら代表的な数秒、という切り方に落ち着きました。

もうひとつ、2.0 系との違いで実用的なのが、音声だけを参照として渡せることです。画像も動画も付けずに、音声ファイルだけで送信が通ります。2.0 系は画像か動画のどちらかが必要でした。

音声を渡したときにモデルがそこから何をどこまで拾うのかは、正直まだ自分の中で整理しきれていません。トグルの説明にある通り出力側の音は生成されるので、参照音声は素材そのものの流用ではなく方向づけとして働いていると理解しています。ここは断言できるほど詰めていないので、そのつもりで読んでください。

実際に触るのは参照素材から動画を作るページで、モデル選択から 2.5 を選ぶとこの3種類の枠が出てきます。

細かいが後で効く2つの項目

出力形式が mp4 と mov から選べます。mov のほうは色精度の高いエンコードで後処理向きですが、プレイヤーによっては再生できません。編集ソフトに持ち込む前提なら mov、そのまま人に渡すなら mp4、という使い分けになります。生成し直しになると尺のぶん待つので、書き出す前に決めておくと無駄がありません。

Web 検索のトグルもあります。既定はオフで、オンにすると生成中にモデルが Web を参照できる、という説明です。動画モデルでこの項目を見たのは初めてで、正直まだ使いどころを掴めていません。時事的な固有名詞を含む指示のときに効くのだろうと思っていますが、比較検証はしていないので推測です。

向いていない場面

正直に書いておきます。一番はっきりした壁は解像度で、720p が上限です。480p との2択、それ以上の選択肢はありません。納品解像度が決まっている案件だとここで止まるので、後処理でのアップスケールを前提にするか、別の手段を検討することになります。バージョンが上がったぶん上限も上がっているだろうと思って探しましたが、ありませんでした。

尺のほうも30秒で頭打ちです。伸びたとはいえ上限は上限なので、それより長いものは結局カットを繋ぐ話に戻ります。あと参照動画の合計30秒制約は、素材が長いほど前段の切り出し作業が重くなるので、長尺のスタイル移植を期待していると当てが外れます。

逆に噛み合うのは、素材が手元にあって、それに寄せた短い映像を数を打ちたい場面です。音まで一度に出せるぶん、映像と音を別々に作って合わせる工程が丸ごと消えます。

まとめ

Seedance 2.5 で最初に決めるべきなのは、機能をどう組み合わせるかではなく、手元にあるものから入り口を選ぶことでした。言葉だけなら Text to Video、絵を動かすなら First + Last Frame、資料に寄せるなら Multi-Reference、映像や音を素材にするなら Reference to Video です。

その上で、先に知っておくと作り直しが減るのは3つでした。音声のトグルは1個しかなく台詞だけを選べないこと、Image to Video のモードによって渡せる画像の枚数が1枚と30枚で変わること、そして参照する動画と音声は本数ではなく合計30秒で頭打ちになることです。

解像度が 720p 止まりな点は用途を選ぶので、そこだけは先に確認しておくのをおすすめします。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?