Supershipの名畑です。テレタビーズマルシェ -by VILLAGE VANGUARD-を訪れて楽しんで、8000万再生されているOPを見て楽しんで、知育コンテンツであるLearn with Teletubbies & Friends - WildBrainを眺めて楽しんで、イギリスの幼児になった気分です。
はじめに
今年の6月に「話題の動画生成AIサービス「Dream Machine」を使って女性の画像を動かしてみたら自然すぎて恐くなりもした」という記事を書きました。
今回の記事ではDream Machine同様に動画生成AIの分野で有名なGen-3 Alphaでも画像の動画化を試みてみます。
Runway
Runwayという社名と同名のプラットフォームがあり、そこでは生成AIを活用したツールが多数提供されています。Gen-3-Alphaはそのうちの一つです。
iOSアプリでも利用可能なようですが、今回はブラウザ版で進めます。
アカウント作成
Sign upのページからアカウントを作成します。
E-mailアドレスを用いての登録のほかにGoogleアカウント、Appleアカウントも利用できます。
EnterpriseプランではSSOも対応しているそうです。
料金
Runwayには無料プランであるFreeもあるのですが、現時点ではGen-3-Alphaは有料プランでしか使えないため、今回は$15/月のStandardで行います。毎月625クレジット(Gen-3-alphaは1秒10クレジット)が付与されます。
無料のプランでも低コスト版であるGen-3 Alpha Turboであれば使えます。
プラン毎の詳しい違いはpricingをご覧ください。
年払いであれば20%の割引があります。
動画生成 1
Gen-3 Alphaを選んで、動画生成をしてみます。
サイズが1280x768のため、それに合わせた以下の画像を用います。
サイズが異なる画像の場合はブラウザ上での切り抜きも可能です。
プロンプトは以下を指定しました。
A Japanese woman is smiling happily
日本語に翻訳すると「幸せそうに笑っている日本人女性」です。
プロンプトを指定しないこともできます。プロンプトについて詳しくはGen-3 Alpha Prompting Guideをご覧ください。
最初のフレームと最後のフレームにそれぞれ別画像を指定することもできるのですが、今回は同一とします。
生成された動画は以下です。長さはデフォルトの10秒です。
自然ですね。ちゃんと元画像の女性が笑っている。
これがAIで生成された動画だと、なにも言われずに見せられたならば鈍感な私は気づかないと思います。
参考までに同じ画像とプロンプトを使ってDream Machineでも生成してみました。
生成された動画は以下です。長さは5秒です。
動画としての動きはかなりあるものの、顔を中心として違和感というか、崩れのようなものが伝わってきます。前回の記事で生成した動画ではそこまで感じなかったので、一つの参考までで。
動画生成 2
せっかくなのでまったく違う画像からも生成してみました。
こちらの画像に対して以下のプロンプトで動画を生成してみます。
Japanese man dancing
「踊っている日本人男性」ですね。
生成された動画は以下です。
こちらも素晴らしい品質です。
手などの部分部分を見ていると違和感もありますが、10秒という尺において一貫性は保たれています。
この画像についても参考までにDream Machineで動画生成をしてみました。以下です。
踊りなのかはなんとも言いづらいですが、動きがあっていいですね。
最後に
試行回数が少ない上にプロンプトもシンプルなので参考程度ではありますが、Gen-3 AlphaとDrema Machineそれぞれに生成される動画に特徴があるなと感じました。
動画生成の分野もかなり進化が素晴らしく、そして今後が楽しみです。
動画分野ではさらに直近、気になるニュースもありました。
米Adobeは9月11日（現地時間）、同社初の動画生成AIモデル「Adobe Firefly Videoモデル」を発表した。テキストや画像から動画を生成するだけでなく、クリップの尺を引き伸ばしたり、動画の別の視点を生成したりできるようになる。2024年後半にβ版として提供予定という。
参考：アドビ、初の動画生成AIモデル発表 テキスト・画像→動画のほか“別視点”も生成可能に 24年後半にβ版 - ITmedia NEWS
早く触ってみたい。
宣伝
SupershipのQiita Organizationを合わせてご覧いただけますと嬉しいです。他のメンバーの記事も多数あります。
Supershipではプロダクト開発やサービス開発に関わる方を絶賛募集しております。
興味がある方はSupership株式会社 採用サイトよりご確認ください。