これまでの動画生成技術の課題

AIによる動画生成技術は日々進化しています。しかし「話すアバター」の動画を作る際には大きな課題がありました。

1. 時間が経つと顔が崩れる（一貫性の喪失）

長い動画を生成しようとすると、フレームが進むにつれてAIが元の顔の特徴を忘れてしまいます。その結果、全くの別人になったり、顔が崩れたりする問題がありました。

音声と口の動きを正確に合わせるのは非常に難しかったです。生成された動画はどこか不自然な「吹き替え感」が多くありました。

動画が長くなればなるほど、最初のフレームで発生したわずかなエラーが次のフレーム、その次のフレームと雪だるま式に大きくなってしまいました。最終的には、動画として破綻してしまいます。

今までのモデルではこれらの問題を解決するために多くの後処理をしていました。例えば動画を生成した後に顔を入れ替えたり（フェイススワップ）、画質を向上させたりといったことをしていました。

このような課題があったため、長尺で高品質なアバター動画を手軽に作ることは非常に困難でした。しかし、今回発表された「StableAvatar」はこれらの問題を解決することができます！

StableAvatarとは、音声と一枚の画像を基に、無限の長さで高品質なアバター動画を生成するための、新しい動画拡散Transformerです。

先ほど挙げたような従来モデルの課題を独自のアーキテクチャによって克服し、後処理なしで自然な動画を生成できます。

StableAvatarは、独自の「Timestep-aware Audio Adapter」によって、長い動画を生成する際に起こりがちだったエラーの蓄積を大幅に削減することができます。これにより、理論上無限の長さの動画でも顔の一貫性を保ったまま生成できるようになりました。

音声との同期や、人物の一貫性を保つための新しい仕組み「Audio Native Guidance Mechanism」を導入しました。これにより、非常に自然で高品質な動画の生成が可能です。

他の多くのモデルよりも、少ない計算能力（小さいモデル）で、より高品質な動画を作ることができます。また、他のモデルの半分ほどのメモリで、10倍速く動画を生成できます

従来のモデルでは必須だった顔のスワップや修復などの後処理が、StableAvatarでは一切不要です。一枚の画像と音声だけで、完成度の高い動画を直接生成できます。

「実際にどれくらいの動画が作れるの？」と気になる方も多いでしょう。論文の公式サイトやGitHubページでは、StableAvatarによって生成された多数のデモ動画が公開されています。

それらの動画を見ると、以下のような驚くべき点が確認できます。

非常に滑らかなリップシンク
音声に合わせて口が自然に動き、母音や子音の発音まで表現されているかのように見えます。
自然な頭の動きやまばたき
口元だけでなく、音声のトーンに合わせて微妙に頭が揺れたり、自然なタイミングでまばたきをしたりと、人間らしい動きが再現されています。
人物のアイデンティティ維持
数分間にわたる長い動画でも、顔の特徴が崩れることなく、一貫して同じ人物として認識できます。アニメ風のイラストから写実的な人物まで、多様なスタイルに対応している点も注目です。

百聞は一見にしかず、です。ぜひ一度、公式ページでそのクオリティを確かめてみてください。

今回は、一枚の画像と音声から無限の長さの動画を生成できる「StableAvatar」を紹介しました。

といった特徴を持つ、非常に画期的な技術です。

映画制作、ニュースキャスター、バーチャルアシスタントなど、様々な分野での応用が期待されます。

ご自身の環境で試すのが難しい方も、ぜひ公式デモをチェックして、その可能性に触れてみてください。

本記事の執筆にあたり、以下の資料を参考にしました。