0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Midjourney v8 の1枚を Seedance 2.5 で動かす — 連携で詰まった3か所

0
Posted at

はじめに

前に Seedance 2.0 を触ってみた記事を書いたのですが、しばらく使っていて「テキストから直接動画を出すより、静止画を先に作り込んでから動かしたほうが速い」と感じる場面が増えてきました。構図と色を先に確定させてしまえば、動画側で当てにいくのは動きだけで済むからです。

そこで、画作りを Midjourney v8、動かすのを Seedance 2.5 に分ける2段構成を試しました。

結果から書くと、この分担自体はうまくいきます。ただ2つのツールの「つなぎ目」で3か所ハマりました。しかも3つとも、後から気づいても直せない(作り直しになる)タイプでした。この記事はそこの記録です。

今回はどちらも seedance 2.0 というブラウザのスタジオから叩いています。どちらのモデルの公式サービスでもなく、複数のモデルを1つの画面から動かせるようにしているサードパーティのスタジオ、という位置づけです。

分担

担当 今回使った設定
Midjourney v8 1枚絵の構図・画風・色 version 8.2、aspect ratio は用途に合わせて指定
Seedance 2.5 その絵を動かす/音をつける Image to Video、長さ 4〜30秒、720p

Midjourney 側は1回のリクエストで最大4枚返ってくるので、そのなかから動画の1フレーム目にしたいものを選ぶ、という流れになります。

詰まった所 1:アスペクト比は後から直せない

これが一番やらかしました。

Midjourney 側の aspect ratio の初期値は 1:1 です。一方 Seedance 2.5 側の初期値は adaptive、つまり「入力画像の比率に合わせる」。

何も考えずに両方デフォルトのまま通すと、正方形の動画が出てきます。TikTok や Reels に出すつもりで縦動画を作っていたので、これに気づいたのが1本作り終わったあとでした。

対処は単純で、Midjourney を回す時点で最終的な比率を決めきること。

出したい先 Midjourney 側で指定
YouTube など横 16:9
TikTok / Reels など縦 9:16
シネマスコープ寄り 21:9

Seedance 2.5 側でも 16:9 や 9:16 を明示できますが、正方形の絵を縦に引き伸ばす形になるので、素直に元絵を縦で作ったほうがきれいです。あとから比率を変えたくなったら Midjourney からやり直し、というのは覚えておくと事故が減ります。

詰まった所 2:v8 にはキャラの一貫性を取るパラメータが無い

複数カットで同じ人物を出したくなって、--cref(Character Reference)を使おうとして気づきました。

Midjourney の公式ドキュメントにあるバージョン別の対応表を見ると、こうなっています。

機能 V6 V7 V8.1 / V8.2
Character Reference (--cref) ○ ✗ ✗
Character Weight (--cw) ○ ✗ ✗
Niji ○ ○ ✗
Omni Reference (--oref) ✗ ○ V7 で描画される

--cref は V7 の時点で落ちていて、v8 でも復活していません。Omni Reference は指定できますが、対応表に「Uses V7」と書かれているとおり、付けた瞬間そのジョブは V7 で描かれます。v8 の画質で回しているつもりが v8 じゃなくなる、という分かりにくい落とし方をします。

なので v8 でキャラを揃える公式の手段は、今のところありません。実際にやってみて、それなりに寄ったのは次の3点セットでした。

  1. Style Reference (--sref) に同じ参照画像を渡す
  2. seed を固定する
  3. 服装・髪型・体格を文章側で毎回同じ語で書く(「茶色のワークジャケット」まで書く)

ただし seed について、公式ドキュメントの表記は「完全に同一」ではなく 99% identical です。同じ seed でも微妙に揺れる前提で組んだほうがいいです。顔を厳密に固定したいなら、そもそも Midjourney でカットごとに描き直すのを諦めて、次の項の方法に寄せたほうが早いと思います。

詰まった所 3:静止画を作り込みすぎても映像には乗らない

Midjourney 側には quality(--q)が 0.25 / 0.5 / 1 / 2 とあって、上げれば当然ディテールは増えます。stylize は 0〜1000、chaos は 0〜100 まで振れます。

ただ seedance 2.5 側の出力解像度は 720p か 480p です。1フレーム目としてしか使わない絵に対して quality を上げても、映像側に乗る情報はそこで頭打ちになります。

サムネイルや静止画としても使い回すなら作り込む意味がありますが、「動画にするためだけの1枚」なら、そこに時間とクレジットを使うより、構図の当たりを何パターンか取ったほうが効きました。

Midjourney の speed(relax / fast / turbo)も、変わるのは順番待ちの優先度と価格だけで、出てくる絵そのものは同じです。当たりを探している段階では relax で数を撃つほうが合っていました。

複数カットをつなぐ

尺が足りないときは、Seedance 2.5 の return_last_frame を使っています。生成した動画の最後のフレームを返してもらって、それを次のカットの1フレーム目として渡す、という繋ぎ方です。

前後のカットで人物や背景が急に変わる事故が、Midjourney で描き直すより明らかに減りました。カットの切り替わりで画が飛ぶのが気になる人は、これを先に試すのがいいと思います。

Image to Video には、入力の渡し方が2通りあります。

  • First + Last Frame … 最初と最後の絵を渡して、あいだを繋いでもらう
  • Multi-Reference … 参照画像を最大30枚まで渡す

前者は「開始と終了は決まっているが間の動きが欲しい」とき、後者は同じ世界観の絵を複数渡して雰囲気を寄せたいときに使い分けています。参照は画像30枚のほかに動画10本(1本30秒まで)と音声10本まで渡せます。

あと地味にハマった所

Image to Video ではプロンプトが必須です。 絵を渡しただけでは通りません。「何がどう動くか」を書く欄で、ここが空だと先に進めない作りになっています。

書く内容は、絵の説明ではなく動きの説明です。渡した画像に何が写っているかはモデル側が見ているので、そこを繰り返しても尺が動きません。

女性がゆっくりカメラのほうへ振り向く。風でジャケットの裾と後れ毛が揺れる。
カメラは動かさず固定。奥の波は寄せたまま。

カメラワークを足すなら1カット1アクションにとどめたほうが安定しました。「前進しながらパンして最後に引く」のように複数入れると、だいたいどれも中途半端になります。

seedance 2.0 のときは画像だけでも回せた記憶があったので、最初これで止まりました。逆に言うと、動きの指示を必ず書かせる作りになっているぶん、「静止画みたいな動画」が出てくる事故は減っています。

音声は初期値でオンです。要らない場合は明示的に切る必要があるので、無音前提で後から音を当てるワークフローの人は最初に確認しておくといいです。

向いていた使い方・向いていなかった使い方

向いていた

  • 構図と画風を先に確定させたい短尺カット(広告のラフ、ティザー)
  • 手持ちのイラストの世界観を保ったまま動かしたいとき
  • 絵コンテ・プレビズ代わりに、カメラワークを事前に当てる

向いていなかった

  • 同一人物が何カットも出てくる、顔の同一性が厳しい映像(v8 に手段が無い)
  • 高解像度で納品する必要があるもの(720p 天井)
  • 長尺。1本あたりは 4〜30秒なので、繋ぐ前提で設計する必要があります

まとめ

Midjourney で画を決めて Seedance 2.5 で動かす、という分担自体は素直に機能します。ただ実際に詰まるのは、それぞれのツールの使い方ではなく、**アスペクト比・キャラの同一性・解像度の天井という「つなぎ目の制約」**のほうでした。3つとも、後から気づくと作り直しになるのが厄介なところです。

先に出力先(縦か横か)と、同じ人物を何カット出すのかだけ決めてから Midjourney を回し始めると、無駄打ちがかなり減ります。同じ構成を試す人の参考になれば。


0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?