Supershipの名畑です。漂流教室 POP UP STOREを訪れ、あの絵に囲まれていると、初めて読んだ時の衝撃と恐怖がまざまざと蘇ってきました。日本漫画史上に残る名作と思います。
はじめに
動画生成AIも群雄割拠です。
思いつくだけでも以下があります。
それぞれに特徴があるわけですが、とにかく、2年ぐらい前の動画生成AIと比べて、品質の向上が素晴らしいと感じます。
今回は上記の一つであるRunwayを用いて、動画の生成と編集を行ってみます。
まず元となる動画を生成し、それをさまざまなプロンプトで編集してみます。
元動画
Runway Gen-4を用いて元動画を生成します。
「A woman pours water into a glass」というプロンプトで画像を生成して、それをさらに同様のプロンプトで動画にしてみました。
生成結果は以下です。本当に動画として自然だと感じます。
Runway Aleph
Runway Alephは、Runwayが研究を進めてきた「General World Models」や「Simulation Models」を基盤としており、生成された動画や既存の動画に複雑な編集を即座に加えられる対話型AIツールを提供する。例えば、自動車をを消す、背景を差し替える、シーン全体のスタイルを変えるといった操作も、簡単なプロンプトで実行できる。
今回はこのRunway Alephを用います。
現在は有料プランでしか利用できないモデルです。
金額についてはRunwayのPricingをご覧ください。
Change water into beer
「Change water into beer」訳すと「水をビールに変える」ですね。
生成結果は以下です。
一部ビールの動きに不自然さはあり、最後に瓶のビールが水に戻ってしまってはいるものの、ほぼ期待通りの変化です。
Darken the room
「Darken the room」訳すと「部屋を暗くする」です。
生成結果は以下です。
元動画がほぼそのままに暗くなっています。
期待した通りです。
Change a woman into a man
「Change a woman into a man」訳すと「女性を男性に変える」です。
生成結果は以下です。
こちらも期待した通りの結果となりました。
Change the angle
「Change the angle」訳すと「角度を変える」です。
生成結果は以下です。
どのように角度を変えるかを明確に指示しませんでしたが、下から見上げる形の角度に変わっています。
Make the video look like an animation
「Make the video look like an animation」訳すと「ビデオをアニメーションのようにする」です。
生成結果は以下です。
口の動きが付加されてしまっていたり、瓶の中の水の表現が不自然な箇所があったりと気にはなりつつ、端的なプロンプトでほぼ意図通りの結果が得られました。
最後に
とにかくすごい。
生成に時間がかかること等を含め、まだ制限はあるものの、意図を精度高く反映できるようになってきたことは素晴らしいと感じます。
宣伝
SupershipのQiita Organizationを合わせてご覧いただけますと嬉しいです。他のメンバーの記事も多数あります。
Supershipではプロダクト開発やサービス開発に関わる方を絶賛募集しております。
興味がある方はSupership株式会社 採用サイトよりご確認ください。