【MRTK】 HoloLens2 Azure 音声認識サービス チュートリアル やりました

HoloLens2 Azure 音声認識サービス チュートリアル をやりました。

開発環境

• HoloLens2
• Windows 10 pc
• Unity 2019.4.1f1
• MRTK ver2.5.3

出来たもの

音声認識 & 文字起こし

MRTK Tutorial
Azure Speech Services を使用した文字起こし#MRTK #Unity pic.twitter.com/RlWgZmaYrw

— 原口昂弥 (@k_haraguchi55) April 27, 2021

音声コマンド

HoloLens2 Azure 音声認識サービス チュートリアルやりました。#MRTK #HoloLens2 pic.twitter.com/9xF4U4sCpl

— 原口昂弥 (@k_haraguchi55) April 26, 2021

音声認識 & 翻訳

MRTK Tutorial
Azure Speech Translation を使用した翻訳#MRTK #Unity pic.twitter.com/FiwRQTPhbv

— 原口昂弥 (@k_haraguchi55) April 27, 2021

自然言語理解

MRTK Tutorial
Azure Language Understanding を使用した自然言語理解 pic.twitter.com/NYBreU5dsu

— 原口昂弥 (@k_haraguchi55) April 27, 2021

Unityの音声認識は内部でWindowsの音声認識を使用するのでOSで設定された言語で認識します。(Macでは動作しません)

なので今回は日本語でこの部分を行いました。

やり方

1. LUISアプリの作成時のカルチャーを"Japanese"にする。

2. 学習データを日本語にする。

3. LunarcomIntentRecognizer.ProcessResults を書き換える。

LunarcomIntentRecognizer

    public void ProcessResults(string targetButton = null, string actionToTake = null)
    {
        switch (targetButton)
        {
            //case "launch":
            case "打ち上げ":
                CompleteButtonPress(actionToTake, targetButton, LaunchButton);
                break;
            //case "reset":
            case "リセット":
                CompleteButtonPress(actionToTake, targetButton, ResetButton);
                break;
            //case "hint":
            case "ヒント":
                CompleteButtonPress(actionToTake, targetButton, HintsButton);
                break;
            case "hints":
                CompleteButtonPress(actionToTake, targetButton, HintsButton);
                break;
            default:
                CompleteButtonPress();
                break;
        }
    }

これで日本語で進めることができます。