話題の動画生成AI「Seedance 2.0」を触ってみた（テキストと画像から、音声つきで動画が出る）

はじめに
動画生成AIはここ1年でかなり実用的になってきましたが、そのなかで最近よく名前を見るのが Seedance 2.0 です。TikTokを運営している ByteDance が出しているモデルで、テキストだけじゃなく画像や動画、音声まで入力として受け取って、1本の動画にまとめてくれる、というのが売りらしい。

気になったので実際に触ってみました。この記事は、何ができるモデルなのかと、実際に動画を出すまでの流れ、それとプロンプトでちょっと詰まったところをまとめたものです。コードは書きません。あくまで「使ってみた」の記録です。

なお最初に断っておくと、Seedance 2.0 はあくまで ByteDance のモデルで、公式のAPIや研究ページは正直そのままだと触りづらいです。今回はブラウザから直接動かせるサードパーティのスタジオ seedance2.so を使いました。ここが公式というわけではなく、モデルをブラウザで叩けるようにしてくれているサービス、という位置づけです。

Seedance 2.0 って何ができるの
ざっくり言うと、動画を作る生成モデルです。ただ「テキストから動画」だけの一芸モデルではなくて、入力の種類がわりと多い。

テキストから動画を作る
静止画（写真やイラスト）を動かす
参照用の動画を渡して、そのカメラワークや動きを真似させる
映像と一緒に、同期した音声も生成する
個人的にいちばん「おっ」と思ったのは最後の音声です。ちょっと前までの動画生成AIって基本的に無音で、音は別のツールで後付けするのが当たり前でした。Seedance 2.0 は映像を作るのと同じ生成のなかで、それに合った音まで一緒に出してくれる。ここは触ってみて素直に便利だと感じた部分です。

長さは数秒から15秒くらいまで。短いと思うかもしれませんが、SNSの縦動画とか広告のカット、絵コンテ代わりの当て込みみたいな用途なら、だいたいこの尺で足ります。

どうやって触るか
先に書いたとおり、今回はブラウザのスタジオ経由です。インストールも環境構築もいらないので、そういう意味では試すハードルはかなり低い。

スタジオの左側に、モードごとのツールが並んでいます。手元に何があるかで選ぶ形です。

アイデアしかない → Text to Video
写真やイラストがある → Image to Video
画像や動画、音声をまとめて参照させたい → Reference to Video
選ぶとフォームがそのモード用に切り替わって、必要な項目だけ出てきます。パラメータの意味を推測しながらAPIのスキーマを読む、みたいな作業がいらないのは楽でした。

テキストから動画を出すまで
いちばん基本の Text to Video から。やることは3つだけです。

モデルを選ぶ（標準版のほかに、下書き用の速いモデルもある）
プロンプトを書く
尺・アスペクト比・音声のオン/オフを決めて生成
アスペクト比は 16:9、9:16、1:1 あたりから選べます。YouTube なら 16:9、TikTok や Reels なら 9:16、という感じでそのまま出し分けできるのは地味に助かります。あとで切り抜く手間がない。

プロンプトはこんな雰囲気で、普通の日本語（or 英語）で情景を書けばOKです。

夜、雨に濡れたネオン街を、カメラがゆっくり前進しながら通り抜けていく。
水たまりに看板の光が反射している。しっとりした映画的な質感。
画像を動かす／参照から作る
Image to Video では、まず画像をアップします。ここに地味に嬉しい機能があって、

最初のフレームだけ 渡すと、その画像からモーションを付けて動かしてくれる
最初と最後のフレーム を両方渡すと、その2枚のあいだをつなぐように動かしてくれる
「開始と終了の絵は決まってるけど間の動きが欲しい」みたいなときは後者が便利です。ビフォーアフターとか、商品がパッと切り替わる系のカットで使えます。

Reference to Video はいちばん盛りだくさんのモードで、複数の参照画像・参照動画・参照音声を一度に渡せます。ここで大事なのが、プロンプトの中で参照素材を名前で指す こと。アップロードしただけだと、モデルはそれをどう使えばいいか分かりません。@image1、@video1 みたいに明示的に呼んであげると、ぐっと言うことを聞くようになります。

@image1 の人物の服装で、@video1 のカメラの動きをそのまま真似して。
プロンプトで詰まったところ・コツ
ここが本題かもしれません。何回か無駄打ちして分かった、動画生成AIあるあるな注意点です。

モーションを書かないと、ほぼ静止画になる。
「草原に立つ女性」だけだと、ほんとにただ立ってるだけの、動画とは言い難いものが出ます。「女性がカメラのほうを振り向いて微笑み、風で髪が揺れる」みたいに、何がどう動くのかを書いて初めて動画になります。絵じゃなくて動きを指示する、と意識を切り替えるのが第一歩でした。

カメラの動きは1本に絞る。
「前進しながらパンして、最後に引く」みたいに欲張ると、たいてい映像が破綻します。前進なら前進、寄りなら寄り、と1カット1アクションにしたほうが安定しました。

まず速いモデルで下書きする。
標準モデルでいきなり本番を回すより、速い方のモデルや短い尺でプロンプトの当たりを取ってから、良さそうなやつだけ本番で回すほうが結果的に早いです。構図とプロンプトが決まってから解像度を上げる、の順番。

参照は必ず @ で名指しする。
さっきも書きましたが、これ本当に大事。アップロードは「渡した」だけで「使え」とは言っていない、という感覚です。

プロンプト入力欄の横に補助機能があって、ざっくり書いた文をもう少し詳しいプロンプトに膨らませてくれます。自分はいつも雑な一文を書いて、それに通してから手で微調整、という使い方をしています。

何に使えそうか
触ってみた感触だと、カメラも編集ソフトも出さずに「それっぽい短い映像」が欲しい場面全般にハマります。

手持ちのイラストや写真を動かす（Image to Video がそのまま刺さる）
SNS用の縦動画を 9:16 で量産する
商品ティザーや広告のラフを、撮影を組まずに用意する
絵コンテ・プレビズ代わりに、カメラワークやライティングを事前に当てる
まとめ
Seedance 2.0 は、いまの動画生成モデルのなかでもかなり出来がいい部類だと思います。とくにテキスト・画像・動画・音声をまとめて扱えて、音まで一緒に出るのは、実際に使うと「novelty（物珍しさ）」で終わらない便利さがありました。

ブラウザのスタジオ（今回は https://seedance2.so を使いました）経由なら、環境構築なしでタブを開いてプロンプトを書くだけで試せます。動画生成AIに興味はあったけど複雑そうで手が止まっていた人には、入り口としてはかなりゆるい部類だと思うので、気になったら一度触ってみると早いです。