LoginSignup
0
0

【ChatGPT+DALL-E3】【Hedra】でリップシンクしてみました。

Posted at

 どうも、カーブミラーです。

 今回は、動画は動画でも、リップシンク(口パク)。そのサイトをご紹介しますね。

本記事は、ChatGPT(有料版)
+DALL-E3で行なっております。
画像はありません。あしからず。

 まずは、ニュース。

 OpenAIが
  中国からのアクセスを
   7月から切る、と通告。
木内翔大さんポスト


 ChatGPTの
  あの音声モードが
   提供を延期されました。
 ITmedia News:音声モード提供を延期

 それでも
  ひと月遅れで
   提供できるらしいです。
    まぁ、調整に手間取るのは
     わかりますよね。

 この中では
  macOS版ChatGPTアプリについても
   言及されていました。

 一般公開したことも
  発表したそうです。

 [Option]+[スペース]で、
   画面上のあらゆるものに
    ついてチャットできる、とか。

 その前に
  オイラにパソコンを!


 さて、
  今日の本題です。

 “リップシンク”を
  ご存知でしょうか。

 簡単に言うと、
  “口パク”です。

 まぁ、
  昔からあるのですが、
   最近は、生成AIのおかげで
    たくさんのツールが
     出てきています。

 以前は
  口だけ動く、
   まさに口パク。

 少し前には
  頭も動く(でも髪の毛は動かない)
   ようなものが多く出てきました。

 でも
  人間は
   喋っていても
    身体が動くものです。

 だから
  “これはAIだな”と
   わかったわけです。


 さて、
  そんなリップシンクも
   進歩して、以前とは比べようも
    ないレベルになりました。

 今回、紹介するHedraは
  最近出てきたもののひとつです。
   Hedra

 まずは、
  ごらんください。
   Qiitaにはあげられないので
    X-Twitterのポストになります。

 なお、
  1分あり、また音声も出ます。
   ご注意くださいね。
    最後がぶつ切りになります。
     これは、Hedraの仕様みたい。
      リップシンク

 いかがでしたでしょうか。

 知らない人が見たら
  本物の人に見られるかも。

 これの作り方は
  極めて簡単です(自分だけ?)。

 ここでは、
  例として、女性に
   歌わせるもの(上記)に
    なります。

 手順
 ❶DALL-E3で人物画像生成。
   できるだけ正面を向かせて。
 ❷歌の歌詞をChatGPTで英語で作成。
 ❸歌詞を音楽生成AIで、音声化。
 ❹画像と音声を
   Hedraにアップするだけ。

 ❶❷については説明いりませんよね😅


 さて、
  手順❸と❹の説明を
   いたしましょう。


 ❸の音楽生成AIですが
   今回は、SongRを利用しました。
    sunoもあるのですが、
     歌手の指定ができなさそう
      だったのです。

  いや、できるかもですけどね😅

  それと以前に
   SongRは触ったことがあった、
    という理由もあります。

  SongRについては
   以前、こちらにも書きました。
【ChatGPT無+GPT-4+DALL-E3+他】で、こんなの作った。

  しかし、
   昨年11月なので
    仕様が変わっているかも。
     (変わってなかった😅)

  こちらがSongRのサイトです。
   SongR.AI

  曲調を選択、
   “I have my Lyrics”を選択、
    タイトルと歌詞を入れて、
     “Natalie”で、歌手を選択。
      そして“Render”をタップ。

  これで
   生成されます。

  なお、
   SongRは、
    キーワードから作詞が可能。

   また、画像をアップロードして
    それをイメージしての
     音楽生成もできる、みたい。
      知らんかった😅


 次は、❹ですね。

 ❹画像と音声を
   Hedraにアップするだけ。

 と書いたとおりですが、補足。
  まずは、サイトにアクセスして
   サインインしてください。
    Hedra

 “Try Beta”をタップ。

 すると画面が切り替わり、
  Audio
  Character
  Video
  My Library(履歴)
 の四つが出てきます。

 今回の目的は、
  音声と画像をアップロードして、
   生成動画を得ることにあります。
    その手順を説明します。

 まず、
  Audioの“Import audio”を
   タップして、音声ファイルを
    アップロードします。

 次に、
  Characterに
   画像をアップロードします。

 最後に、
  Videoの“Generate video”をタップ。

 これで
  生成がはじまります。
   画像と違い、動画なので、
    それなりの時間が掛かります。

 出来上がりをチェックして
  ダウンロードすれば
   終了です。

 一分以上の音声の場合は
  ぶつ切りにされます。

 ようは“金払え”という話かな😅
  でも、課金への遷移がない。


 まぁ、そんなこんなで、
  動画が生成できます。

 今回は試しませんでしたが、
  セリフを入れて、
   キャラクターを設定しての
    動画も生成できるみたい。
     日本語も可能でした。

 YouTuberとか
  インスタグラマーとかならば、
   利用価値はあるのかも。

 みなさんの
  作品制作の糧に
   なれば、幸いです。

 今回は、ここまで。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0