本記事では https://lifehacker.com/ より翻訳します。
AIによって生成された動画は未来の産物ではなく、今ここに存在し、驚異的です。AI企業は、簡単なテキストプロンプトからリアルな動画を生成できる技術を次々と導入しています。Adobeもその最新の一例であり、同社のAIによる動画生成技術は、短いデモであっても素晴らしいものです。
Adobe Firefly動画モデル
Firefly動画モデルは、これまで見てきた他の生成モデルとは少し異なります。多くのAI動画生成器は、AI画像生成器と同様の仕組みで機能します。つまり、希望する内容をテキストとして書き出し、そのプロンプトに基づいてモデルが出力を生み出します。
この仕組みもここで行われており、特定の動画を生成するようモデルに依頼することが可能です。しかし、AdobeはOpenAIのSoraなどとは異なり、より多くのAI動画編集ツールを統合しています。たとえば、Adobeはカメラ制御（角度、動き、ズームなど）を使用して「微調整」した動画を作成できるとしています。デモでは「ドラマティックなドリー・ズームカメラ効果」を生成するように指示し、サイドバーにはショットサイズやカメラアングル、動作制御などの複数のカメラコントロールが表示されました。理論的には、動画を生成した後、「手持ちカメラ」オプションをクリックすることで、製品に揺れのある見た目を追加し、その揺れの強さをスライダーで調整することができます。
また、この技術が実際の動画コンテンツにどのように追加できるかの例も示されています。Adobeによれば、Premiere Proベータ版を通じて、タイムライン内の既存のクリップをAI生成動画で延長できるとのことです。会社の目標は、タイムラインの隙間を埋めることであり、たとえばショットが十分に長くない場合、AIがそれを人工的に長くすることができます。このモデルは画像を動画に変換する能力も持っているとされています。参照として使用したい写真や絵がある場合、それをテキストプロンプトの代わりに使用できます。
さらに、このツールを使って2Dおよび3Dアニメーション効果を動画に加えることもできます。デモ動画では、実際のダンスをしている人の動画に2Dのモーションエフェクトが適用されている様子が確認でき、別の例では「TIGER」という文字が風に揺れる草原の上に毛皮で作られているシーンが示されています。
Adobeは、この動画モデルがパブリックドメインの作品でトレーニングされており、「商業的に安全」な設計がなされていることを強調しています。これは、OpenAI、Midjourney、Stability AIなど、AIの分野で著作権侵害の疑いで訴えられている多くの企業とは対照的です。
ただし、Adobeがこの決定により得たかもしれない善意は、同社がCreative Cloudに保存された作品にアクセスし、非生成AIプログラムのトレーニング目的で利用できると示唆するポリシーに対する反発によって相殺される可能性があります。Fireflyがアーティストから盗用せず、商業的なトラブルに巻き込まれるリスクがないのは素晴らしいことですが、自分の創造的プライバシーを放棄する必要がある場合、それは本当に価値があるのでしょうか？
これらのツールは、Creative Cloud、Experience Cloud、Adobe Express、さらにはfirely.adobe.comを通じて利用可能になります。Adobeは、Firefly動画モデルがベータ版で利用可能になった際に通知を受け取るためのウェイトリストを用意しており、こちらからサインアップできます。
一つ確かなことは、Adobeの動画の製品は見栄えが良いということです。動画を文脈なしに見ている場合、提示されたデモショットのほとんどが完全に人工的に生成されたものであると気づかないかもしれません。
しかし、Adobeは巧妙にも、ほとんどのクリップを一瞬か二瞬しか表示せず、生成器が実際にどれほど機能しているのかを正確に把握するのが難しい状態にしています。被写体の質はしっかりとしていて説得力がありますが、モデルがどれだけ動きを再現できるか、または出力が1分間にわたってどれほどリアルであるかを見ることができなければ、他のモデルとの比較が難しいです。
Adobeから見た中で最も長いクリップは、4〜5秒のトナカイの動画です。とてもリアルで、広角レンズを使用した手持ち感がその効果をさらに引き立てています。
AdobeがAI生成動画の品質においていくつかの突破口を開いた可能性があります。しかし、これらの動画が既存の生成器と同じ欠陥に苦しむ可能性もあり、時間とともに色褪せてしまうかもしれません。Adobeがより長いデモ動画を提供したり、ベータ版を発表したりすれば、より明確なアイデアが得られるでしょう。
AI動画生成・編集に興味があるならUniFab オールインワンをおすすめです。UniFabは、動画の高画質化も簡単に実現することもできます。