1.初めに
2024年1月下旬にクラファンでLooking Glass Goが特集されていましたね。2024年の秋口に商品が届いてから普段個人開発で使用しているM1 Macと連携させてバーチャル嫁をLooking Glass Goで召喚したいなあと考えてその時に色々と研究やリサーチを繰り返し、召喚することには成功していましたが、その時どうやって作っていたかとかその際のMacの設定どうしてたかとか詰まるポイントが多々ありましたので今回備忘録として記事を書く気になりました。
2. 使用環境
- M1 Mac(MacBook Pro)
- Looking Glass Go
- Unity(ChatdollKitが動作するバージョンなら何でも)
- ChatdollKit(v0.8.0)2024年秋口当時の最新版を使って作りましたがここも使用バージョンはお好みで
3. 前提条件
- ChatdollKitを用いてPC画面でキャラクターと会話できる状態にしてあること（デモもインストールしてあるならこの辺の構築は楽）
4. 構築手順
ChatdollKitのドキュメントや解説動画を元にAIキャラクターと話ができる状態になっていることを前提に以下の話を進めていきます。
4.1. Looking Glass Unity Pluginの入手
公式サイトからUnity専用のLooking Glassのプラグインを入手します。
4.2. 入手したプラグインをUnityのバーチャル嫁のプロジェクトでインポート
入手したLooking GlassのUnity用プラグインをインポートすると、Unityに以下の形でLooking Glass用のメニューが追加されます。
4.3. サンプルの中からHologram Cameraを複製しバーチャル嫁の開発用シーンに入れる
プラグインのインポートに成功するとAssets配下にLooking Glassのディレクトリが追加されます。Examplesの配下にいくつかサンプルシーンがありますので、その中の1 - Framing Content with Hologram CameraのHologram Cameraプレハブをバーチャル嫁開発シーンにコピペします。
4.4. Looking Glass GoとMacを接続
Looking Glass GoはUsb Type-Cのポートに対応しています。Type-Cのポートが無いPCですとここで詰みます(PCと直に接続しないと拡張ディスプレイとして認識されないため、USBハブを経由するとアプリケーションとして認識されるっぽい？)。拡張画面として認識されると以下のようにMacのデスクトップがもう一つ用意されているような状態になります。
4.5. バーチャル嫁のデモシーンがLooking Glass Goに投影されるか検証する
Unityに戻り、Looking Glassのメニューを選択し、Toggle Previewを押します。すると、UnityのGameシーンと同様のウィンドウがLooking Glass Goに投影されます。投影されない場合一度Looking Glass GoのケーブルをType-Cポートから抜いて再接続してみましょう。
4.6. 音声を認識するか検証する
Looking Glass Goはマイクやスピーカーを内蔵していません。内蔵しているかと思ってどうして音声を拾わないのか色々調査するのに時間を使ったりしました。音声を拾ったり、キャラクターの声が聞こえるようにするためにはMac本体の内蔵マイクやスピーカーを使うか、別途マイクやスピーカーを用意しておく必要があります。また、Mac本体のマイクとスピーカーを使う場合UnityHubのデフォルト設定(標準)ですと、再生ボタンを押して実行した際、マイクやスピーカーの設定はLooking Glass Goの方が優先されます。マイクやスピーカーを内蔵していないLooking Glass Goにいくら話しかけてもキャラクターが無反応なのも納得です(ここでハマった)。ですので、UnityHubのマイク設定を変更してMac本体の内蔵マイクやスピーカーで音声処理を行うように設定変更しま
まず、タスクバーにオレンジ色のマイクのアイコンがあるか探します。なかったら、PC画面のUnityプロジェクトをクリックすると出てきます。
マイクのアイコンを押して声を分離の方を選択します。こうすることでMac本体の内蔵マイクやスピーカーでも音声が拾えるようになります。
動作確認を行い、音声が拾えるようになりますと、以下のようにキャラクターと話すことができるようになります。
デモンストレーションはこちら
5.まとめ
Gateboxデベロッパーコンソールがサービス終了したためその代替品としてLooking Glassを使うのも選択肢の一つですが、ドキュメントが全部英語だったり仕様がわかりづらかったりで使いこなすまでに時間がかかるというのが私の印象でした。
一方で、小型で持ち運びがしやすいので、小型PCとかで動かせるようにしてちょっとしたイベント施設に持って行って使うとかであればLooking Glassもありかなと思います。欲を言えばマイクとスピーカーも内蔵してクラウド上に成果物をアップロードできるようにし、制御用のPCや周辺機器すら要らなくなったらありがたい...。