LoginSignup
4
4

[UE5]Runtime Speech Recognizerで簡単音声認識!

Posted at

Runtime Speech Recognizerでめっちゃ簡単に音声認識して遊ぼう!!!!!!!(無料)

image.png

マーケットプレイス

Git

※git推奨

OpenAI音声文字お越しツールWhisperを使用した音声認識(マルチリンガル)がなんと無料!!!!
なんかすごい人はChatGPTでしゃべれるように!!!

(ここではやりません)
(手順ほぼこの動画に乗ってます)

作り方

上記のプラグインをマーケットプレイスからエンジンに落としてくるかプロジェクトファイルにPlaguins下に入れる方法で入れます。GitのほうはTagがそのままバージョン名なのであってるバージョンのを落としてきてください。
マケプレ版はパッケージ化した際言語ファイルが梱包されない報告が散見されており(Gitでもきちんと指定しないとなる)パッケージ化する人はGit版推奨

image.png

RuntimeSpeechRecognizerとRuntimeAudioImporter必ず両方入れてください
image.png
エンジンバージョンが違うといわれますがあってるのでYesを押せばそのままリビルドが始まります(少し時間がかかります)
image.png
言語ファイルがねーよ的なメッセージが出るので「はい」を押してください

image.png

起動したらプラグインが入っているか確認してください。

RuntimeSpeechRecognizerのwikiに移動します(Git)

  1. How to use the plugin のStreaming audio inputに移動します。
    image.png

Copyable nodesに移動してノードをコピーしてきます。

プロジェクトに戻ります。

LevelBlueprintかPlayer系のどこかにノードをコピーします。

image.png

今回はThirdPersonCharactorにコピー

image.png

SpeechRecognizerとCapturableSoundWaveを作成します。

image.png
大事なのはコメントをつけたあたり

image.png

適当な入力キーを出してPressedをCreaateSpeechRecognizerに
image.png
ReleasedをStopCaptureにつなげます。
image.png
SetLangageから日本語に変更します。コンパイル保存していったんBPは終了。

プロジェクト設定に移動します。
image.png

Plugin>RuntimeSpeechRecognizer から Model LanguageをMultilingualに変更します。
上のModel Sizeはインストールする語数みたいなやつです。あげると正確さは上がりますが認識後の変換が遅くなります。お好きなものをどうぞ

image.png
設定し終わったらSetup Language Modelを押してください
image.png

メッセージが出るので「はい」を押してください。ダウンロードが始まります。

image.png
これも「はい」を押して大丈夫です。

起動してみる

エンターを押しながら「UnrealEngine最高!」といって終わったら離す。
image.png
"アンディアルエンジン最高"

精度はそこまで出ていない気がする。
マイクによっていい感じの設定がかなり違う気がするのでいろいろ試してみてください。

(ヘッドセットではSetStepSize=2500にするといい感じでした)
あと長文の方がAIなのでいいっぽいのと純粋に言語データのサイズをでかくすれば精度が上がります。

おまけ

パッケージ化した後に赤字でエラーで「言語データがないぞ!」的なエラーが出ることがあります。
その時は
image.png
All/Plugins/RuntimeSpeechRecognizer
のパスを
プロジェクト設定のパッケージ化のクックする追加アセットディレクトリ
image.png
に書いてください。(筆者はこれでいけるようになりました)

みんなも簡単に音声認識して遊ぼう!

4
4
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
4
4