RealsenseSDKで音声認識した結果をUnityで使う

  • 19
    Like
  • 0
    Comment

はじめに

  • Unityでも高品質な音声認識を利用したい
  • RealsenseSDKで音声認識ができる
  • Unityでも使いたい RealsenseSDKの音声認識を用いてUnityで結果を受け取ります.

準備

  • Unity 5.3.1
  • Visual Studio2015
  • Intel Realsense SDK R4

注意 : RealsenseSDKのランタイムだけでは日本語の音声認識モジュールはインストールされないようです.

Visual Studioによるプラグイン化

RealsenseSDKの音声認識はC#,C++があります.
今回はC++に慣れているのでC++でプラグインを作成します.
音声認識によって得られた文字列を出力します.

GitHub

Unityでの利用方法

作成したdllをUnityの/Plugins/x86 or x86_64フォルダにそれぞれ移動し,dllの情報を取得するコードを作成します.
プラグインとサンプルのコードを同梱したファイルを以下に置いておきます.

unitypackage

動作デモ

ダウンロードしたunitypackageをUnityにインポートするとSpeechRecognitionにsampleがあります.
実行前にMainCameraに配置されているSpeech.csのAudioDeviceNumの番号を確認してください.
unity_speech_demo.png

正常に実行できた後マイクに話しかけると,音声認識の結果がゲーム画面の左上に表示されます.

unity_speech_demo_start.png