はじめに

デモの動画はツイッターに貼ってますこちらです

AITuberを片手間で作っていまして、基礎部分をGithubにアップロードしました。

もともとAI先生作れないかな、ということをしていた経験もあわせて、作っています。
できたことは、Unityで、テキスト入力やボタンのUIをはりつけてそこに、入力していく形で、Sendボタンを押せば、ChatGPTの応答、返答から発話内容をVOICEVOXで音声合成、それを受け取って、音声再生と3Dアバターに口パクまでを行います。

ということは、いってしまえば、あとはYoutubeからのコメントを受け取ったり、ライブ配信での進行管理をどう行っていくのか、を作っていくと、一つのAITuberのひな型になるんじゃないかなと思い公開しました。

開発環境はWindows、Unityです。

ライセンスは私の作った範囲はMIT、その他はなるべく再利用・公開していただいて問題ないものを利用しています。

技術的な話

ChatGPT

APIが新しくなり、メッセージに役割を付与して、複数のメッセージをまとめて送る方式となりました。
役割は、system、assistant、user、の3つですね。

systemのメッセージであらかじめの設定を蓄積しておいて、userのメッセージを追加し通信して返答をもらっていくことで、ChatGPTからの返答が生成されます。

発言と、ポーズ設定を収集したかったので下記を参考にしました。
https://twitter.com/fladdict/status/1626936471969218560

下記2行のフォーマットで出力し、会話内容は改行しないこと。
【内部パラメータ】ポーズ:kawaii
【会話内容】おはようございます。それでは、今回は数学のお話をしていきます。

という指定や、キャラクター設定をsystemのメッセージで追加しておきます。

こちらを指定すると、上記のフォーマットで返答が返ってきますので、【内部パラメータ】のポーズからアバターのポーズを、【会話内容】は"。"で分離させて段階的に音声合成になげれるように加工しました。

VOICEVOX

VOICEVOXは、別アプリとして立ち上げておくと、通信して音声合成のやりとりができる機能がもともと存在します。

方式はWebAPIのRESTです。

to VOICEVOX : このセリフを音声合成してくださいよ
from VOICEVOX : それだと、こういう音の合成情報はこうなりますよ
to VOICEVOX : では、この音の合成情報で音声合成してください
from VOICEVOX : わかりました

という感じで音声が返ってきます。
いきなり音声データにならないので、ちょっと戸惑うかもしれません。

音声合成の中でも、VOICEVOXは、環境を再現しやすいという理由で選択しました。

VRM

アバターは3DのVRM形式、現在はとりまわしのいいVRMの0.x系を使ってます。

アバターを手軽に作れる AveterShop というソフトがありまして、こちらを購入して生成しました。こちらのVRMの形式が0.x系だったので、VRMのライブラリもそちらを利用しています。

長所としては以下2点です

アバターを簡易に作成しやすい環境が整っている
リップシンクのさせやすい

短所は、世界的なフォーマットではなく、あくまでも日本の3Dアバター規格にとどまっている点です。今後に期待です。

uLipSync

下記のように、uLipSyncという口パクを再生するUnity用のモジュールが公開されています。
https://tips.hecomi.com/entry/2022/01/30/152519

少し残念なことに、新しい記事はVRMアバターのリップシンクまで、手軽にやってくれるサンプルが入っていたのですが、こちらVRMのバージョンが1.x系だったので、かみ合わずでした。

ということで、そのへんは自作しました。

キャリブレーションもせず、もともとあるプロファイルの設定で、音声をわたしてVRMのリップシンクまで実現できてすばらしいですね。

リップシンクはほかにもいくつかあり、古くはOVRLipSync、他、有料であればCRIのものもあるでしょうか。
OVRLipSyncは、規約が良くわからない（英語…）ので公開したものに同梱するのは難しいと判断しました。

まとめ

以上の技術でもって、基礎部分ができましたので、共有したいと思い公開しました。

「Youtubeのコメントの取得」を実現し、アシスタントを自動化して、全自動でライブ配信1回をできるようにするにはどうしたらいいかと、いろいろ考えていくと面白そうです。

最初に、話すべき内容を伝えてしまうと、一回目にアシスタントとして「はじめてください」とつたえると、全部しゃべってすぐ終わっちゃいます。

OpenAIのAPIKeyと、VOICEVOX、Unityがあれば動きますので、いろいろいじって遊んでいたければと思います。