AI動画で5人の人物を入れ替えるのはなぜ難しい？Tiny Desk AIを開発して気づいたこと

はじめに

最近、TikTokやInstagram Reelsでは、AIを使って人物を音楽ライブの出演者に置き換える動画が注目されています。

特に「Outstanding Tiny Desk AI」は、複数の人物が小さなライブ会場で歌ったり演奏したりする映像を、AIによって別の人物に置き換えるトレンドです。

このような動画を、誰でも写真から作れるようにするため、現在 Tiny Desk AI というWebアプリを個人開発しています。

今回は、このツールで実現したい機能と、複数人物のAI動画生成で直面した技術的な課題を紹介します。

Tiny Desk AIとは？

Tiny Desk AIは、人物写真をアップロードして、ライブパフォーマンス風のAI動画を作成するWebツールです。

現在、以下の2つの生成モードを用意しています。

1. Solo Cast

1枚の人物写真を使い、動画内のメインパフォーマーを置き換えるモードです。

自分や友人をライブの主役にしたい場合に向いています。

2. Outstanding Five

5枚の人物写真をアップロードし、ライブに登場する5人のパフォーマーをそれぞれ置き換えるモードです。

役割は以下の5つです。

入力画像	役割
Picture 1	Lead Singer（主唱）
Picture 2	Backing Vocalist 1
Picture 3	Backing Vocalist 2
Picture 4	Backing Vocalist 3
Picture 5	Saxophone Player

目指しているのは、ユーザーが写真を用意するだけで、複数の人物が同じライブに出演しているような動画を生成できる体験です。

出力は15秒程度の縦型動画を想定しており、SNSでの共有にも適した形式を採用しています。

複数人物のAI動画生成で難しかったこと

実際に開発を進めると、単一人物の生成と複数人物の生成では、考慮すべき問題が大きく異なることが分かりました。

1. 人物と役割の対応が崩れる

5枚の写真をAIモデルに渡しても、必ずしも指定した人物が指定した役割に登場するとは限りません。

例えば、ある人物の顔が別の役割にも使われたり、5人目の人物が生成結果に反映されなかったりする場合があります。

この問題を減らすには、入力画像と出演者の対応関係を明確に定義する必要があります。

Picture 1 = Lead Singer
Picture 2 = Backing Vocalist 1
Picture 3 = Backing Vocalist 2
Picture 4 = Backing Vocalist 3
Picture 5 = Saxophone Player

さらに、カメラが切り替わった後も同じ人物の特徴が保たれるように、人物の一貫性を指定することが重要です。

ただし、プロンプトによる指定だけでは完全な制御は難しく、モデルの対応能力によって結果が変わります。

2. 参考動画のカメラ構成が変わってしまう

参考動画を使った生成では、元映像の動きや雰囲気を再現できても、カメラカットや演出が変更される場合があります。

例えば、主唱のクローズアップが途中から別の場面に変わったり、最後のサックス演奏シーンが延長されたりすることがあります。

そこで、参考動画の構成を時間ごとに分けて指定する方法を試しています。

Scene 1:
Three backing performers.

Scene 2:
Lead singer close-up.

Scene 3:
Saxophone performance.

Preserve the original shot order,
camera framing, performer positions,
and choreography.

このようにシーン構成を明示すると、モデルに期待する結果を伝えやすくなります。

一方で、カメラカットを厳密に固定したい場合は、動画編集や人物追跡を組み合わせたワークフローも検討する必要があります。

3. 顔だけでなく、人物全体を置き換えたい

もう一つの課題は、顔の置き換えと人物全体の置き換えの違いです。

単純な顔の置き換えでは、元動画の人物の髪型や服装がそのまま残ることがあります。

しかし、ユーザーが期待するのは、アップロードした写真の人物がそのままステージに登場しているような映像です。

そのため、顔の特徴だけでなく、髪型、体格、衣服なども参考にしながら、元動画の動作と自然に組み合わせる必要があります。

特に複数人物が同時に動くシーンでは、人物の外見が混ざったり、別の出演者の服装に変化したりしないようにすることが課題になります。

Webアプリとして考慮していること

動画生成モデルの品質以外にも、実際のサービスではいくつか重要な点があります。

入力画像の検証： 顔が明確に写っているか、画像がぼやけていないかを確認する。
役割の固定： アップロードした5枚の画像を、それぞれ決められた役割に対応させる。
非同期処理： 動画生成には時間がかかるため、タスク状態を管理する。
エラー処理： 生成失敗時にユーザーが購入した利用回数を失わないようにする。
結果の保存： 生成された動画をユーザーが後から再生・ダウンロードできるようにする。

また、人物写真の利用許可、参考動画の著作権、音楽の利用条件についても適切に確認する必要があります。

まとめ

Tiny Desk AIの開発を通じて、複数人物のAI動画生成では、人物の外見を再現する精度に加え、役割の固定やカメラカットをまたいだ一貫性が重要だと感じています。

現在も生成品質や人物の安定性を改善している段階ですが、こうした課題を一つずつ解決することで、写真をアップロードするだけで楽しめるAI動画生成体験を目指しています。

興味のある方は、開発中の Tiny Desk AI をチェックしてみてください。

公式サイト： https://tinydeskai.net/

※ Tiny Desk AIは独立したAI動画制作ツールであり、NPRや公式Tiny Desk Concertsとは提携していません。人物画像や参考素材は、利用許可を得たものを使用してください。