Edited at

RealsenseSDKで音声認識した結果をUnityで使う

More than 1 year has passed since last update.


はじめに


  • Unityでも高品質な音声認識を利用したい

  • RealsenseSDKで音声認識ができる

  • Unityでも使いたい
    RealsenseSDKの音声認識を用いてUnityで結果を受け取ります.


準備


  • Unity 5.3.1

  • Visual Studio2015

  • Intel Realsense SDK R4

注意 : RealsenseSDKのランタイムだけでは日本語の音声認識モジュールはインストールされないようです.


Visual Studioによるプラグイン化

RealsenseSDKの音声認識はC#,C++があります.

今回はC++に慣れているのでC++でプラグインを作成します.

音声認識によって得られた文字列を出力します.

GitHub


Unityでの利用方法

作成したdllをUnityの/Plugins/x86 or x86_64フォルダにそれぞれ移動し,dllの情報を取得するコードを作成します.

プラグインとサンプルのコードを同梱したファイルを以下に置いておきます.

unitypackage


動作デモ

ダウンロードしたunitypackageをUnityにインポートするとSpeechRecognitionにsampleがあります.

実行前にMainCameraに配置されているSpeech.csのAudioDeviceNumの番号を確認してください.

unity_speech_demo.png

正常に実行できた後マイクに話しかけると,音声認識の結果がゲーム画面の左上に表示されます.

unity_speech_demo_start.png