Supershipの名畑です。SAKAMOTO DAYSのアニメ化は週刊少年ジャンプの中でもかなりお気に入りの作品なので嬉しい。次はぜひあかね噺をお願いいたします。
はじめに
2024年9月公開の記事「動画生成AI「Gen-3 Alpha」のImage to Videoで画像を動画に変換してみたらやっぱり自然すぎて恐くなりもした」もぜひ合わせてご覧ください。Dream Machineを含む動画生成AIのより新しい情報やサンプルが掲載されています。
AIスタートアップの米Luma Labsは6月12日（現地時間）、動画生成AIサービス「Dream Machine」を発表した。動画の内容を指示するプロンプトと1枚の写真から5秒の動画を生成する。生成スピードは1コマ1秒としており、120コマ（24fpsで5秒）を2分で生成できるとしている。
参考：1枚の写真→5秒の動画に “無料”で使える最高水準の動画生成AI「Dream Machine」が話題に - ITmedia NEWS
ということで、話題になっているDream Machineを使ってみました。
すごいですね。これまでにもいくつかの動画生成を行ってきましたが、その中でも群を抜いているというのが本音です。もちろん、まだリリースされていないSora等は除きますが。
なにがすごいかと言うと、動きが滑らかな上に、動画内での一貫性があることです。
AIで動画を生成したことのある方はわかるかと思うのですが、動画の最初から最後まで、そこに登場する人の造形等々、不自然な変化が発生してしまうことが多いのですが、Dream Machineはそれがかなり少ない印象です。
価格
| 月額 | 年払い時月額 | 生成可能数 | |
|---|---|---|---|
| Free | 0 | 0 | 30 |
| Standard | $29.99 | $23.99 | 120(+30) |
| Pro | $99.99 | $79.99 | 400(+30) |
| Premier | $499.99 | $399.99 | 2,000(+30) |
価格も生成可能数も月当たりです。一年分をまとめて払うことで20%安くなります。
Freeは商用利用が禁止です。
また、生成キュー上においてFreeよりもStandardが優先され、さらにProとPremierが優先されます。
また、現在はFreeでは1日10枚までの制限がかかっています。
Due to high demand, we are temporarily limiting free tiers to 10 generations/day. Paid tiers have priority in the queue and no daily limit.
ログイン
Try Nowを押すと、ログイン画面に遷移します。
Googleアカウントでログインできます。
他のログイン手段は現時点ではないようでした。
ログインすると、すぐに使い始められます。
画面は非常にシンプルです。
プロンプトを入力するか、画像をアップロードするかです。
画像からの動画生成 1
まずは画像からの動画生成を行ってみます。
元画像
今回はこちらの画像を元にして動画を生成してみました。
以下の説明の通りでプロンプトを追加することもできるのですが、今回は追加せずにいきます。
Upload a JPG, JPEG or PNG image by clicking the image icon on the generation page, you can also choose to provide a prompt to describe the scene.
生成動画
本当に、画像上の女性が崩れなく動いていて、すごい。語彙がなくなる。
AIだと疑って注視すれば崩れがなさすぎて逆に不自然とは感じるものの、なにも言われず日常で目にしたならば、これがAIによるものだと見極められる気がしない。
画像からの動画生成 2
せっかくですので別の画像でも試してみましょう。
元画像
約半年前に「Stable Video DiffusionのWeb API呼び出しをPythonで実装して静止画を動画にしてみた」という記事において、stability.aiのStable Video Diffusionを用いた静止画からの動画生成を行いました。
その時の元画像は以下です。
その時の生成結果は以下でした。容量の都合で画質を低下させていますので、実際の動画はもっと高画質です。
今回は同じ画像を使って、Dream Machineで動画の生成をしてみます。
生成動画
結果は以下です。
そこにいる人物がきちんと動いていると感じます。
かなり進化の激しい生成AIの世界ですので、Stable Video Diffusionでも現時点で試せば似た結果になる可能性はありますが、なんにせよ、画像上の人物が動いているという事実に揺らぎはありません。
画像からの動画生成 3
画像を扱うAIでは、写実的な画像だとうまく動いても、イラスト的な画像だとうまく動かないケースもあります。
ということで今回は、イラスト的な画像でも試してみました。
元画像
生成動画
食パンが消える、スカートがスパッツになる等の大きなマイナス要素が目立ちますが、走っているということをしっかりと認識して、走る動画が生成されています。
テキストからの動画生成 1
テキストからの動画生成も行ってみました。
Japanese office worker having a meeting at a coffee shop
訳すと「喫茶店で打ち合わせをしている日本の会社員男性」です。
Enhance promptにはチェックを入れたままとしています。以下の通り、短いプロンプトでもDream Machine側で追加説明を適用して結果を良化してくれるそうです。
A great way to start to get good results is to use “Enhanced Prompt”. By enabling this you can use short prompts like “a teddy bear swimming in the ocean” and the Dream Machine will automatically generate additional descriptions to help create a more detailed generation.
生成された動画が以下です。
気になるところはありますが、一つのシーンが見事に切り取られた動画となっています。
背景にも人物にも崩れがありません。
また、カメラワークにせよ人にせよ、少なくない動きがあります。
テキストからの動画生成 2
テキストからの動画生成をもう一つ行ってみました。
A young Japanese female office worker is walking on the streets of Tokyo
訳すと「若い日本人の女性会社員が東京の道を歩いている」です。
生成された動画が以下です。
文字がおかしいという生成AI特有の問題はやはりありますし、注意してみると背景の人物が途中から変わっていたりもしますが、これだけ多くの人物が忙しなく歩く様を違和感なく動画にしているのは、かなり高品質と感じます。
最後に
ここまでの動きと一貫性を実現されると、様々な制作活動に影響がありそうな気がします。
ただでさえ衝撃だらけの生成AIの分野においても、かなりのものですね。
恐いぐらいです。
宣伝
SupershipのQiita Organizationを合わせてご覧いただけますと嬉しいです。他のメンバーの記事も多数あります。
Supershipではプロダクト開発やサービス開発に関わる方を絶賛募集しております。
興味がある方はSupership株式会社 採用サイトよりご確認ください。