はじめに
今回は HoloLens 2 アプリケーションで Spatial Audio (空間音響) を有効にする方法についてご紹介したいと思います。詳しい手順は、MS Learn - HoloLens 2 アプリケーションの空間オーディオをアクティブ化する でまとめられているので、本記事では要点のみをご紹介いたします。
検証環境
- Unity 2020.3.48f1
- MRTK v2.8.2
基礎知識
空間オーディオ ( Spatial Audio ) とは
空間オーディオとは、複数の特定のスピーカーを設定しなくても、音を周囲全体で知覚できるようにする、さまざまなオーディオ再生技術を指しています。( 空間オーディオ より引用 )
HRTF (Head-Relation Transfer Function)
人間は音源から左右の耳に入る音の強弱と時間の微妙なズレによって、一種の三角測量によりその音の発生源を認識することができます。この音源から両耳までの特性を 頭部伝達関数 (HRTF: Head Related Transfer Function) と呼びます。（ Sony Japan | 技術解説 より引用 ）
HRTF ベースアルゴリズムを使用したオーディオ処理には、大量の特殊の計算が必要となります。HoloLens 2 には、アプリケーションプロセッサへの負荷を回避するために活用できる専用のハードウェアが含まれているため、HRTFベースアルゴリズムの処理をオフロードできる。Microsoft Spatializer プラグインを使用すると、アプリケーションから簡単にHRTF専用ハードウェアを活用できるようになるため、アプリケーションプロセッサの大部分を空間オーディオではなく、アプリケーション操作のために使用できます。
Microsoft Spatializer
Microsoft Spatializer は、Unity の空間オーディオ用 Audio Source コンポーネントにアタッチされたプロパティを上書きします。HoloLens での空間音響は、Audio Spatializer プラグインを使用して、有効化することができます。プラグインのファイルは Unity にバンドルされており、編集タブから Microsoft HRTF 拡張機能を有効にするだけで空間音響を有効化することができます。Microsoft Spatial Sound は現在48kHz のサンプリングレートのみをサポートしています。
手順
Microsoft Spatializer をダウンロードして、プロジェクトにインポートします。Microsoft Spatializer パッケージは GitHub もしくは、Mixed Reality Feature Tool からインポートすることができます。
Edit > Project Settings > Audio を開いて、Spatializer Plugin を Microsoft Spatializer に変更します。
MRTK初期セットアップ済みの空のシーンに PressableButtonHoloLens2 (prefab) を追加します。
Transform を以下の値に修正します。
- Position (0, -0.4, 2)
- Rotation (0, 0, 0)
- Scale (1, 1, 1)
Audio Mixer ウィンドウを開きます。Window > Audio > Audio Mixer を選択します。
Mixer の隣にある + ボタンをクリックして新しいミキサーを作成します。新しいミキサーには、Master という名前の標準グループが含まれています。
ヒエラルキーウィンドウで PressableButtonHoloLens2 を選択して、インスペクターウィンドウで Audio Source コンポーネントの設定を追加します。必要な設定項目は以下の通りです。
- 出力プロパティに作成したミキサーを選択する
- Spatialize (空間化) チェックボックスにチェックを入れる
- Spatial Blend (空間比率) スライダーを 3D (1) に変更する
Unity の既定の設定では、聞き手が遠ざかるにつれて空間オーディオを減衰させます。この減衰が対話操作のフィードバック音に適用されている場合、インターフェースが使いづらくなります。この減衰設定を無効にするためには、Audio Source コンポーネントの Volume (音量) 曲線を調整する必要があります。
- [Volume Rolloff] プロパティを [線形ロールオフ] に設定します
- [Volume] 曲線 (赤い曲線) のエンドポイントを、y 軸の '0' から '1' にドラッグします
- [Volume] 曲線の形をフラットに調整するには、白の曲線コントロールを、X 軸に平行になるようにドラッグします。
これで作業は終了です。後は HoloLens 2 へデプロイして試してみると、空間オーディオ ( Spatial Audio ) が実現されていました。
Refs
公式ドキュメント
- HoloLens 2 アプリケーションの空間オーディオをアクティブ化する
- microsoft/spatialaudio-unity - GitHub
- 立体音響の概要
- How to add the plugin to Unity projects
補足情報等