NeosVRでリアルタイム翻訳機を使う

はじめに

こんにちは！tuttuです！
twitterで紹介した、こちらのリアルタイム翻訳機の導入方法を説明します！

#NeosVR 海外の人がつくったリアルタイム翻訳機だよ！すごすぎ！
今日はちょっと趣向を変えて紹介動画にしてみたよ！ pic.twitter.com/hH2eMJ0Rpt

— tuttu@VRChat始めました (@tuttu74459297) February 12, 2020

ちなみにこれは、海外のAnomalousさんが作ったもので、本人の紹介動画もあります。
https://www.youtube.com/watch?v=-Ygun89yHZU

わかりづらいところ、間違っているところがあれば随時加筆修正するので、
お気軽に教えてください！

まとめ

最初に要点を書いておきます。

1. 環境構築: C# .NET Framework 4.6.2, 4.8 で動作確認済み
2. Azure認証キーの取得(無料試用版あり): Speech API (Cognitive Service)
3. ソースコードのclone: https://github.com/Anomalous/AnomalousNeosExperiments/tree/master/Translator
4. NeosTranslateDataModel.csの認証キーと言語を設定
5. Translatorをローカルで立ち上げ
6. (Neosにて)ツール配布ワールドでツールを取得: http://cloudx.azurewebsites.net/open/world/U-Anomalous/R-55501fd5-8e98-40db-9dd4-e2cae7ea41c6
7. ワールドの動画に沿って、自分の名前を設定

1～5は現実世界で行い、6,7はNeosVRで行います。
これらについて次の章から詳しく見ていきましょう！

動作確認環境

• Windows10
• Oculus Quest + Virtual Desktop

また、PCにマイクの音声が届いていることを確認しておきましょう。

現実世界編

C#環境構築

Visual Studioのインストール

Visual Studioをインストールするのが一番手っ取り早いかと思います。
https://qiita.com/grinpeaceman/items/b5a6082f94c9e4891613
こちらのページの「Visual Studioインストール」まで進めてください。

(以下の話はVisual Studio 2019で進めています)

※補足
ふららんさん曰く、Visual Studio 2017で起動しなかったとのこと。
2019を使うのが無難かもしれません。
各Visual Studioの対応機能については知見がないので、わかる方がいたら教えていただけるとありがたいです。

tuttuさんのツイートに貼ってある記事の補足。VisualStudio2017ではエラーが出てサーバー立ち上がらないです。
記事通りVisualStudio2019で起動すればサーバー立ち上がります。 https://t.co/LTWhi2FiUk

— ふららん(furarann)@Nket広報担当　今日も一日生き延びてえらいっ！集会やってます！ (@furarann_VR37) February 17, 2020

.NET Frameworkのインストール

次に、.NET Frameworkをインストールします。

4.6.2～4.8のバージョンであればどれも動くと思いますが、僕は4.6.2と4.8で動くことを確認しました。
(参考: .NET Framework のバージョンの互換性)

こちらから4.8のDeveloper Packのインストーラーをダウンロードし、

インストーラーを起動してインストールを進めます。

Azure Speech API 認証キーの取得

Microsoft/Facebook/Github/LinkedIn のいずれかのアカウントが必要です。
(Microsoftのアカウントは、WindowsのOSセットアップのときに作っていることが多いです)
持っていなければ、こちらから作りましょう。

Azure Cognitive Serviceのページに行き、Speech APIタブをクリック

Speech Serviceの「APIキーの取得」をクリック

「7日間の試用期間」をクリックします。
(有効期限があるので、本格的に使う場合は課金する必要があります)
ここでログインを求められるので、持っているアカウントでログインします。
ログインすると、認証キーが2つ表示されます。
こちらの認証キーは後ほど使います。

翻訳機サーバーの立ち上げ

ソースコードのダウンロード

https://github.com/Anomalous/AnomalousNeosExperiments
こちらのソースコードをダウンロードします。
gitがあればcloneしてください。

ない場合は、zipでダウンロードし、好きな場所に解凍します。
(基本的には日本語を含まないパスに解凍するのが良いです)

Visual Studioで開く

Visual Studioを立ち上げ、「プロジェクトやソリューションを開く」から先ほどのソースコードを開きましょう。

cloneもしくは解凍したAnomalousNeosExperimentsの下(もしくはAnomalousNeosExperiments-masterの2つ下)にTranslatorというフォルダがあります。
その中にある「NeosTextTranslator.sln」をVisual Studioから開きます。

認証キーや言語の設定

開いたNeosTextTranslatorのプロジェクトに対し、先ほどの認証キーや言語の設定をしていきます。

1. NeosTranslateDataModel.cs を開く
2. 先ほど取得したAzureの認証キー(2つあるうちのどちらでも良い)をDEFAULT_AZURE_SUBSCRIPTION_KEYにセット
3. 入力側(話す方)の言語をTRANSLATOR_INPUT_LANGUAGEにセット(これを読んでいる人はja-JPで良いはず)

• 翻訳先の言語はNeos側で設定します
  

サーバーの立ち上げ

Visual Studio上のツールバーにある「開始」を押します。

すると黒い画面が立ち上がれば成功です。

試しに、http://localhost:8083/SetLanguage?Language=en などを叩いてみると、サーバーが反応していることを確認できます。

NeosVR編

NeosVRそのものの始め方は
https://neosvrjp.memo.wiki/
を参考にしてみてください！

最近開設された、日本人向けNeosVRコミュニティのDiscordもあります。
https://discord.gg/GH8YRbd

翻訳機配布ワールドで翻訳機をゲット！

http://cloudx.azurewebsites.net/open/world/U-Anomalous/R-55501fd5-8e98-40db-9dd4-e2cae7ea41c6
こちらのリンクを開くと、翻訳機を配布しているワールドに飛べます。
(NeosVRを立ち上げた状態で開くと確実です)

ワールドでは、Anomalousさんの動画と翻訳機、そして翻訳機のインスペクターがお出迎えしてくれます。

この場で翻訳機をセットアップ(下記)してしまい、保存しましょう。

翻訳機のセットアップ

やることは2つです。

1. 翻訳機にユーザー名を登録する
2. 翻訳先の言語を登録する

まず翻訳機にユーザー名を登録する必要があります。
ChatTranslatorのsettings > RunAsUser のインスペクターが表示されているので、この中にあるValueを自分の名前に書き換えましょう。
(ワールドで開かれているインスペクタそのまま編集するのがベストです)

続いて、翻訳先の言語を登録します。
翻訳機の上にjaと入っていますが、試しにこちらをenに変更してみましょう。
変更したら、Set Languageボタンを押します。
(その他の言語はこちらにコード表があります)

ボタンを押した直後に、こんな感じの選択画面が出てくるかもしれません。
今回は立てたサーバーへの通信を許可するため、「Allow」を押してください。
(むやみな通信の許可は危険なので、今回以外では必要だとわかっている場合のみAllowしましょう)

すると、ここまでうまくできていれば翻訳機が動きます！
完了したら、翻訳機をインベントリーに保存しましょう。

(ユーザー作成ツールの保存方法はこちらを参考に)

動かないときのチェックポイント

• サーバーを立ち上げるときにエラーが出る
  • .NET Frameworkのバージョンが違うかもしれません。僕は最初4.6.1でやろうとしてうまく立ち上がりませんでした
  • ソースコードの変なところを編集してしまったかもしれません。認証キー周りのソースコードを見直してみましょう
• 最後まで完了したけど翻訳機が反応しない
  • ユーザー名を翻訳機に正しく設定できていない可能性があります
    • 翻訳機のインスペクタを開き、settings > RunAsUser の中にあるValueの値を確認してみましょう
  • 通信を「Deny」(拒否)してしまった可能性があります
    • この場合、localhostをブラックリストから削除します。Tools > Debug > Web hosts と開き、localhostが「Deny」となっていたら、隣のRemoveボタンを押しましょう
• Set Languageを押したら青い文字は表示されたけど、翻訳結果が出てこない
  • ソースコードに設定を入れるときに、Azureの認証キーや言語の設定を間違ってしまった可能性があります
  • 音声がPCに届いていない可能性があります。PCの設定からマイクを確認してみましょう