4
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Domo AIを使ってリップシンクにチャレンジしてみた

Posted at

はじめに

ここ1年ほど、AIで曲を作ることにすっかりハマっています。Suno AIを使って曲作りをするうちに、「せっかくなら、PVも作りたいな」と考えるようになりました。

そこで今回、AI動画生成ツール「Domo AI」を使って、その第一歩として リップシンク動画 の作成に挑戦してみました。

Domo AI とは?

Domo AI(ドモ・エーアイ)は、テキストや画像から動画やアニメーションを生成することに特化したAIツールです。専門スキルがなくても、SNSコンテンツやプロモーション動画を簡単に作れます。

事前に必要なもの

  • Domo AI アカウント (有料)
    • 無料アカウントではややクレジットが足りないです。
  • リップシンクさせるための曲
    • 今回はSunoAIを使ってエンジニアをテーマの曲を用意

今回はSUNO AIの使い方までは説明しませんが、以前記事にしていますので、もしよろしければご覧ください。

https://qiita.com/inukai-masanori/items/c817d7803c615379587d

使い方

リップシンク動画の元となる静止画を作成

Domo AIのサイドバーにあるAI画像のマークを押下し、まずはプロンプトを適当に入力します。

今回はリップシンクがわかりやすいように、女性 顔アップと日本語で入力してAI最適化のボタンを押しています。

domoai1.png

モデルがいくつか用意されていますので、リップシンク的に違和感のないもので好きなものを選択してください。

domoai2.png

生成ボタンを押下し、気に入ったものを素材として登録します。

domoai3.png

リップシンク動画を作成

サイドバーにあるAIビデオのマークを押下し、AIアバターのタブに移動します。

domoai4.png

画像/動画のところから、先ほど生成したリップシンク動画の元となる静止画を選択します。

domoai5.png

オーディオのところから、事前に用意していた曲を選択します。

曲は素材と登録していませんので、右上のアップロードのボタンから素材の登録をお願いします。

domoai6.png

プロンプトや動画の長さなどを設定して生成をクリックします。
一旦プロンプトには歌うようにと入力していますが、無くても動きます。

プロンプトの内容による変化量はあまり検証できていません。

domoai7.png

生成された動画は画面の右側で確認できます。
問題なさそうであれば、ガイドというボタンからダウンロードしましょう。

割と生成までに時間がかかるのと、クレジットの消費量は多いです。

domoai8.png

完成した動画

Tips

生成に使用するオーディオファイルは、メインの歌だけが入っているものの方が良さそうです。
おそらく波形の大きさ(ボリューム)も判定して口の開き方を調整しているみたいなので、楽器の音(特にドラム)で口の動きがおかしくなってしまいます。

SUNO AIで作成した曲であれば、SUNO AI上でボーカルだけを抜き出す機能があるので、今回はそれを素材としてリップシンク動画を作成し、最後に動画編集ソフトで音声を差し替えました。

もう少しリアリティを目指すのであれば、抑揚を意識して自分で歌った音声ファイルを使用するのが良さそうです。

終わりに

今回は、Domo AIを使ってリップシンク動画を生成する手順をご紹介しました。

実際に試してみて驚いたのは、短時間でそこまで違和感のない動画が作れたことです。(費用はかかるが、、、)

もちろん、よりリアリティを追求しようとすれば、オーディオファイルの調整や細かな設定が必要になりますが、簡単な操作で手軽にAI動画制作を楽しめるという点で、Domo AIは非常に有用なツールだと感じました。

AI動画/MV制作などに興味がある方は、ぜひ一度試してみてください。

4
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
4
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?