LoginSignup
0
0

UE5でAPI経由でリアルタイムに合成音声を使うためにプラグインを作った (Koemotion)

Last updated at Posted at 2023-10-08

Koemotionを知っているだろか?

rinna公式より引用

Koemotion(コエモーション)
Koemotion(コエモーション)は、AIによるテキスト読み上げ機能に、フェイスモーションの生成やシーンにあわせた感情選択・感情予測機能が加わった音声合成サービスです。

合成音声を提供するAPIなのだが(有料)、UEでおなじみのVaRest Pluginだとaudio dataはだめとか言われて上手くいかないので、わざわざ今までAWS Lambdaでただの文字列として整形して送っていた。けどめんどくさいからプラグイン作った。

注意

これは勝手に個人で作ってるものなのでrinna株式会社とは一切関係がありません。

必要な物

汎用性を考えて結果をそのままstringで返すことにした。リアルタイムにUE上で音声を再生するには以下のプラグインが必要です。

①VaRest

②Runtime Audio Importer

③ Json Blueprint Utilities
これはデフォルトで入ってるのでプラグインから検索して有効化してください。

④KoemotionRequest_UE5(今回作ったやつ)

BPを組むよ

コピペ用です。

NewMap-EventGraph.png

各パラメーターはKoemotionのAPIリファレンスに準拠してるはずです。詳しくは公式を見てください。

最後に

これはあくまでローカルでAITuber等の配信を行うなどの配布しない形で使うことを推奨します。

APIkey等のローカル変数は簡単に抜かれます。バックエンドにちゃんと処理を移してください。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0