はじめに
この記事はVRChat Advent Calendar 2018の8日目の記事です。
こんにちは。クレウス(@kleus_balut )です。
VRChatユーザーで、最近はVIVEBatteryInfoというVRオーバーレイアプリケーションを開発しています。
VR開発では忘れられがちなオーディオの重要性について、VRChatでの体験をもとに3Dオーディオ技術の解説と、同種のソーシャルVRやVR体験施設で感じた点について、主にプレゼンスの観点で言及していきます。
※本記事に具体的なコードの記載はありません。
体感を元にした、簡単な技術解説です。
ONSP
VRChatではONSP(Oculus Audio Spatializer Plugin)というOculusがフリーで配布している3Dオーディオ技術が使われています。
ワールドの設定によりますが、デフォルトで良好な聞こえ方と思います。
特に日本国内のVR体験施設で感じたことですが、多くの場合、3DオーディオについてはUnityなどのゲームエンジン側VRサポートデフォルトのまま使っているように感じました。
3Dオーディオの質が悪いか、そもそも無効化されている場合はVR上でのまともなコミュニケーションが難しいと感じました。
体験型のコンテンツの場合はプレゼンスの剥がれに繋がり、ユーザー側が冷めてしまいます。
こうなるともう、ユーザーが同一の場所にいるのであれば、わざわざVR上で会話するのではなく、HMDのヘッドフォンの隙間経由で直接話した方がマシという形になります。
このコンポーネントはOculusが開発したものですが、Unity側でサポートしていればHTC VIVEでもWindowsMR(Immersive)でも使えます。そこら辺も紛らわしいかも知れません。
デスクトップモードでの聞こえ方の違い
VRChatをVRとデスクトップモード両方でプレイしたことがある方は感じておられるかもしれませんが、オーディオの聞こえ方が全く違います。
VRでは、真後ろから声をかけられたら、本当に真後ろから聞こえるように感じますが、デスクトップモードではその違いが判りません。
これは恐らく、デスクトップモードではONSPがうまく機能していないか、無効化されているためと思います。
VRでプレイに慣れている方が久しぶりにデスクトップモードで入ると会話しにくい事があると思いますが、その原因の根本はこれだと思っています。
音量
特にVR体験施設において、音量が変更できないことによるプレゼンスの剥がれを感じました。
大音量で迫力を与えるという考え方もあると思うのですが、ひたすらに「うるさいだけ」で、たとえボイスチャットができるとしても、そもそものコンテンツの音量が大きすぎてまったく聞こえないという事がありました。
音量をユーザー側で調節できる仕組みは必要と感じました。
またソーシャルVRでは、ユーザー環境毎のマイクゲインの違いによる音量の差異もありますので、Discordで行えるような個別の音量調節も必要と思いました。
まとめ
私自身、VRChatでVR空間上でコミュニケーションをとるまでは、音の聞こえ方がここまで重要だとは思いませんでした。
Oculus Audio SDKについて調べてみると、自然な音の聞こえ方をどのように再現しているかとても参考になります。
VRChatがいまや日常的なVRソーシャル、つまりインフラとなっているのは、この点も大きいのではないかと思います。
通常、VR開発というと、まず「映像ありき」という印象が強くあると感じていますし、実際映像だけでもでかなりの没入感を得られる技術と思います。
オーディオまで力を入れるのはなかなか大変とは思いますが、プレゼンスの向上には間違いなく繋がると思うので、VR開発されているかた・これから開発を検討されている方は、可能であればオーディオも考慮していただけると幸いです。
参考
VR におけるプレゼンスの維持と破壊
バーチャル美少女「東雲めぐ」に“魂”を入れた技術とは？ Unite2018講演レポ
Oculus Audio SDKについて調べてみた
おわり
以上、VRChatで使われている3Dオーディオ技術でした。
明日は@ryou_Einさんです。
VRChat Advent Calendar 2018: https://qiita.com/advent-calendar/2018/vrchat
おまけ
本日分は当初、自作ツールの解説を行おうと思っていたのですが、別のアドカレの私の記事と被る為、話題を変更しました。
自作ツールのVRオーバーレイはほとんど下記の記事で解説している仕組みですので、ご興味があればご覧ください。
VTuber Tech #1 Advent Calendar 2018 6日目 : OBS向け放送プレビューVRオーバーレイをつくる