最近のVRってすごいですよね。
特にサマーレッスンって言うゲーム。
図 サマーレッスンのイメージイラスト（[1]より引用）
おっさんがめっちゃかわいい女子高校生に（学業についての）あんなことやこんなことを教えることができます。
あんなことやこんなこと教える際にめっちゃ至近距離で顔を近づけるのですが、ふとそんなときになぜか女性の息遣いを感じるらしいのですよね[2]。
VRだから風なんて出ないのにね
はい
我々は複数の感覚を統合して刺激をマルチモーダルで認識し世の中を把握しています。
たとえば、会話するときには聴覚だけではなく視覚も使って認識したり、
異性の顔に近づくときは視覚だけではなく当然呼吸の息遣いなどを皮膚感覚で感じる事があるわけです。
そんなに異性に顔を近づけたことねぇよという方はもしかして私よりも悲しい人生を送っているのでしょうか
しかし、VRでリアルな女性が目の前にいる状態を再現して、実は呼吸の息遣いは出ていないとするとどうなるのでしょうか。
実は錯覚を起こして、息遣いが感じられるようです。
この現実世界をマルチモーダル認識する限りでは起きないのだけれど、
一部の感覚を欠損させる特殊な状況下に置かれた際に脳が作り出す現象を
クロスモーダル現象と言います。
クロスモーダル現象の例
- 腹話術
- McGurk効果
- ラバーハンド錯覚
- 幻肢痛
実装： 実践！McGurk効果
McGurk効果を応用して、バーチャルエージェントと音声合成を使ってクロスモーダル現象を自力で起こしてみましょう。
（時間があったらね）
まとめ
今回はマルチモーダル認識が原因で引き起こる現象、クロスモーダル現象を説明しました。
このクロスモーダル現象がダメなことばかりではなく、うまく使えば、少ない感覚で多くの情報を引き出せるというメリットがあります。
このため、最近ではVRなどを通して研究が活発になっています。
[1] http://dic.nicovideo.jp/a/%E3%82%B5%E3%83%9E%E3%83%BC%E3%83%AC%E3%83%83%E3%82%B9%E3%83%B3
[2] https://fulldive.info/column/crossmodal-perception