「バーチャルリアリティ学」第1〜4章 学習用ドキュメント

バーチャルリアリティ学第1〜4章　学習用ドキュメント
「バーチャルリアリティ学」教科書はこちら
VR技術者試験詳細はこちら
VR技術者試験セオリーコースを受験する際に、個人で教科書と講義を聞いて勉強するために作成したものをまとめました。日本バーチャルリアリティ学会様とは無関係です。
VR技術者認定試験アプリケーションコース範囲の第5〜8章の学習用ドキュメントはこちら
教科書「バーチャルリアリティ学」のインデックスとして使ったり、教科書に載ってる用語について自分で調べたリンクなどを載せてありますので、教科書の補助的にお役に立てましたら幸いです。(Nintendo Labo VR Kit 「わかる」の参考になる項目も追記し始めました 2019/04)

何かありましたらこちらのアカウントまでお知らせ下さい。ここ間違ってるよ、とかより詳しい情報などお教えいただけたら勉強できて嬉しいです！

効率よく楽しく勉強したい！という方法をまとめた本を書きました。よかったらどうぞ！

GWが終わっちゃうの焦ってるんだけどどうしよう！という相談をもらって、4章「焦っている時は」を追加しました。あー勉強するつもりだったのに！って焦っているときのおススメを書きました。

つらい勉強ワクワクする勉強 正式版 ver 1.2.0. | Someluのおみせ 01号店 https://t.co/ZgcFjPdK5a pic.twitter.com/CJCuk8YVKd

— Somelu (@Somelu01) 2019年5月6日

‪

第一章バーチャルリアリティとは

1.1バーチャルリアリティとは何か

1.1.1バーチャルの意味

・本来の欧米での意味

virtue ＝ その物をその物として在らしめる本来的な力

virtual ＝"Existing in essence or effect though not in actual fact or form"「みかけや形はそのものではないが、本質あるいは効果としてはそのものであること」＝「実質」

・日本での意味

バーチャル ＝「虚像」→　本来は「虚」＝imaginary　
バーチャル ＝「仮想」→　本来は「仮想」＝supposed、hyppothetical

本来のvirtualの意味を正しく使うことが必要

virtual(本質) ←反意語→ nominal(名目)
real(実) ←反意語→ imaginary(虚)　supposed(仮想)

1.1.2バーチャルリアリティとその三要素

現実のエッセンス＝バーチャルリアリティ
目的によって必要なエッセンスは異なる。

目的	本質
操縦士のトレーニング	操縦士のトレーニング
ヘリコプターの搭乗	ヘリコプターの飛行感覚
荷物の輸送	荷物の移動

必要な3要素

①「3次元の空間性」
②「実時間の相互作用性」
③「自己投射性」

☆バーチャルリアリティとは①〜③の三要素を有している。人間が実際の環境を利用しているのと本質的に同等な状態でコンピュータの生成した人工環境を利用することを狙った技術。

①「3次元の空間性」
人間にとって自然な3次元空間。コンピューターが生成した立体的な視覚空間、聴覚空間が人間の周りに広がる。

②「実時間の相互作用性」
人間が空間の中で環境との実時間の相互作用をしながら自由に行動できる。
家庭用ゲームなど。

③「自己投射性」
環境と人間がシームレスで環境に入り込んだ状態。自分の手があると思った位置に手が有る。感覚モダリティ感に矛盾がない。
自分が居る世界を自分が一人称として体験している感覚が得られるかどうか。

1.1.3バーチャルリアリティと人間の認知機構

・なぜ現前しないものを感じさせることができるのか。

人間は現前する対象(空間)を、感覚器官を介して認識機構のアプリオリな仕組みによって、感覚の世界で起こる現象を認識する事で認識している。
↓
認識されたものは現前する空間そのものではなく、脳に投影された写像。
↓
現前しない空間の情報の本質部分を人間に与え、同じ感覚の世界の現象を起こすことで、人間に空間を認識させる。

人間は対象物自体を認識しているのではなく、感覚器のフィルタを通した写像にすぎない。

・人間の認識できる世界

視覚：電磁波の内の光の0.38μm〜0.78μm
聴覚：空気の振動のうち20Hz〜20,000Hz

バーチャルリアリティ：自分の周りに別の空間ができあがると考える
テレイグジスタンス：自分が別の空間に移動すると考える

1.1.4バーチャルリアリティの概念と日本語訳

日本、中国には、欧米の意味でのvirtualにあたる言葉がなかった。
異なる意味を持っている危険性を認識する事。
カタカナで「バーチャル」がおすすめ。
日本語に訳すなら「人工現実感」

1.1.5道具としてのバーチャルリアリティ

バーチャルリアリティは3Cと3Eのための道具と言える。

3C
・Creation(創造：設計や造形など創作活動)
・Control(制御：ロボットや機器の制御)
・Communication(コミュニケーション)

3E
・Elucidation(解明：人間の認知、行動の機能の解明やシミュレーション)
・Education(教育)
・Entertainment(娯楽)

1.2VRの要素と構成

1.2.1VRの基本構成要素

システムに対するユーザの感覚入力と運動出力のループが円滑にまわることで、ユーザーは現実感を感じることができる。

基本構成要素は以下の①〜③
①ディスプレイ：システムが出力した視覚、聴覚など五感の感覚情報をユーザに提示する装置
②入力システム：ユーザが運動系を介して出力した情報を、システムに入力する装置
③シミュレーションシステム：VR世界を構成するシミュレーション。(3次元でリアルタイムに相互干渉する世界)

VRシステムの構成例

1989年 VPL社がHMD、データグローブを始めて商品として売り出した時に、バーチャルリアリティという言葉を使用した。
入力システム：磁気センサ(頭の位置、向き)、データグローブ(光センサ)
シミュレーションシステム：グラフィックス計算機(仮想世界生成)、把持(仮想の手がボールをつかむとVR内で手にボールがくっつくなど)、運動法則。

1.2.2VR世界のいろいろ

シミュレーションシステムの原初的な定義は「計算機で合成された世界」
・シミュレーションゲーム：100％計算機で合成されたVR世界
・テレイグジスタンス、テレプレゼンス：遠方の世界がVR世界に接続される、メディア的存在

1.2.3VRをどうとらえるか

・AIPキューブ：VRの枠組みを(A,I,P)の三つの要素それぞれの1~0の数値で表す。

(1,1,1)が究極のVR。

Autonomy(自律性):シミュレーションシステム

Interaction(対話性)：入力システム

Presence(臨場感)：出力システム(ディスプレイ)

例：全天周シアター＝(0,0,1)、TVゲーム(0.5,0.5,0.5)

・ヒューマンインターフェース

従来のシステム：ユーザーはシステムに3人称的な対峙。言語的、記号的、恣意的(ex.キー操作による空間移動)
VRのシステム：一人称的体験、身体的、現実世界の規則性(ex.フライトシミュレーターの移動)

ユーザーとシステムは対面的ではなく、ユーザーはシステムに包含される。
没入的であり、第一人称の体験となる。
インターフェースの方式が身体運動との相似性が高く、記号的恣意性がほぼ存在しない。

1.3VRの歴史

単独の技術ではなく、CG、ヒューマンインターフェース、ロボット、アートの複数分野の技術要素の基礎の上に成り立つ。

1万8000年前 ：ラスコー洞窟の壁画。牛、馬などの色彩画は祭司用の儀式に使われ、仮想世界へ導く役割があった。

18〜19世紀 ：ヨーロッパの全天周絵画のパノラマ。
イギリスの画家Robert Barkerによって始められた全天周絵画。
パノラマのイルージョン
・展覧台まで暗闇の通路(現実世界から鑑賞者を切り離す)
・展覧大と絵の間の距離によりキャンバスを意識させない
・人工物による前景(Mixed Reality)
・寺院の塔等現実の世界を模した展覧会
・ムービングパノラマによる動画表現。(巻き絵が動いて、タイムラプス、距離も含めて再現)

Mareoramaの航路風景のパノラマでは動きをともなう客船型の観覧台、送風機による潮の香り、照明による太陽の動きや時間の変化を提示する手法が用いられる。

1960年代黎明期

1)コンピューターグラフィックス

1965年　I.Sutherland UltimateDisplay コンピューターで絵を書く

1968年　I.Sutherland　HMDの発明

** 　**最初のHMD 「Ultimate Display」頭の回転をとったインタラクティブディスプレイ装置。

1967年　F.Brooks、GROPE Project VG+力覚フィードバック。CGに触る
CG映像に触ることを目指した力覚フィードバック装置の研究が始まる。→映像表示＋力覚、触覚情報を含めたVRインタラクション技術の方向性が示される。

2)インタラクティブアート

M Kruger:Videoplace　

1969年：インタラクティブアートの登場「METAPLAY」。鑑賞者の姿を撮影し作品の映像に合成、反映。作品をまとめた本がArtificial Reality(人工現実感)。

3)体感ゲーム

SENSORAMA

1963年 ：VR体感ゲームの先駆け
バイクで街を走り回る体感型ゲーム。音響や椅子の振動、風、風景にあわせた臭いの提示。

1980年代発展期

1)航空宇宙分野

USAF 戦闘機用のスーパーコクピット。外の映像をHMDで見て操縦。

1982年 ：米国空軍のヘルメット型HMD「VCASS」を用いた戦闘機用のスーパーコクピット開発。コクピット内の電子機器の表示。

2)ヒューマンインターフェース

Media Room：ヒューマンインターフェースが学問として採用され始めた。

1981年　MITのMedia.labの開発。部屋全体をコンピューターの端末として利用する。空間型インターフェースの概念の提唱。

1985年 ：NASAで宇宙船内の3次元空間をバーチャルディスプレイ環境として使用する「Virtual Environment」の提案。HMD、データグローブ、3次元音響の利用。

3)テレロボティクス

1982年 ：機械技術研究所テレイグジスタンスの提案。マスタースレーブ型ロボット「TELESAR」の開発。操作者が実際にロボットに成り代わっている感覚を生成する。
スレーブロボットの視覚情報や力覚情報をマスター側の操作者に立体視映像や力覚フィードバックを用いて提示。

1983年：米国海軍海洋システムセンターテレプレゼンスロボット「Greenman」の開発。

バーチャルリアリティ研究

ルーツも複数の分野であり、応用も複数の分野に渡る。

第2章　ヒトと感覚

知覚は脳内で感じるが、存在は外在化する。外在化＝リアル。

2.1脳神経系と感覚・運動

2.1.1脳神経系の解剖学的構造と神経生理学の基礎

■大まかな領域

大脳後部の頭頂葉と後頭葉＝感覚入力を受容

大脳前部の前頭葉＝運動指令を出す

■各領域の働き

・一次体性感覚野
場所：大脳中心溝後部の回
働き：身体の各領域に対応した体性感覚(somatic sensation)の受容

・一次運動野
場所：大脳中心溝前部の回
働き：身体の領域に対応した運動指令を身体の筋肉にむかって発する

・二次体性感覚野
場所：一次体性感覚野の後部
働き：一次体性感覚野より高次の信号処理を行う

・頭頂連合野
場所：頭頂
働き：後頭葉に投射される視覚情報や側頭葉に投射された聴覚情報などの他の感覚情報と連合し総合的に解釈する。

空間知覚(space perception)に重要。

■視覚情報の経路

網膜から入る
↓
外側膝状体を経由
↓
後頭葉の一次体性視覚野(V1)に投射。両眼の視差(binocular desparity)はここまでそのまま保持される。
↓
各領域で分業的、分析的に高次的処理がなされる。
運動の方向、回転などに選択性をもつ領域、物体の形態認識や顔の認識に重要な領域等にわかれる。

2.1.2知覚・認知心理学の基礎

人間が平面画像から立体的な情報を知覚する手がかり

・単眼手がかり
陰影、重なり、線遠近法、大気遠近法、きめの勾配、経験的な物体の相対的大きさ、対象物の運動が距離に寄って異なる事を使う運動視差、遠近で異なる水晶体厚さの調節

・両眼手がかり
輻輳(convergence)：両眼である点を凝視した時により目になる状態。凝視点までの距離が近づくにつれて輻輳角(凝視点で両眼からの視線が交わる角度)が大きくなる。

両眼視差：同じ対象物から得られる両眼に対応する異なる画像。二つの異なる画像が脳の中で融合して立体的に知覚される。

・知覚の恒常性
同一物体が、距離によって網膜上の大きさが異なっても、人間は同一の大きさだと近くできる。形、色、明るさも同様。この知覚の恒常性によって、HMD上のVR映像にも適応できる。

2.1.3感覚と運動

・運動の知覚の手がかり
眼球が静止している時の網膜上の対象物の移動
移動する物体を眼球を動かす事によって追跡する行為

・知覚できない運動
遅すぎる運動(視覚1〜2’/s以下)
速すぎる運動(視覚35deg/s　以上)

・実際の運動と知覚される運動のずれ
誘導運動(induced motion)：周囲の他の対象の運動によって，実際には静止している対象があたかも動いているように見える現象。

自己運動感(ベクション)：視野を一様な運動刺激が占める場合に、実際には静止しているにも関わらず、自己身体に錯覚的移動感覚が生じる現象。加速度を感じる前庭感覚と対比する事で、自分が移動していない事がわかる。HMD装着時には、映像酔いを引き起こすことがある。

仮現運動(apparent motion)：二つの離れた線分が短い時間(60ms)で交互に点滅すると移動して見える。

2.2　視覚

2.2.1視覚の受容器と神経系

「世界を見る」＝外界の光情報を眼を通して受け取り、脳神経系で情報処理すること

外界の光
↓
網膜(retina)
↓
視細胞(photoreceptor)で光エネルギーから電気信号に変換。

視細胞の種類

・錐体(cone)…明所視。光波長の吸収特性で3種に分かれ、S〜Lの応答の組み合わせで色の知覚が生じる。→暗くなると色がわかりにくくなる。(Cone center color：中央にあって色を知覚)。色弱、色盲の場合はL、Mのどちらかが少ない、または欠落。(皮質性の色盲は白黒)

S錐体(紫〜青、400nmあたり)

M錐体(緑、500nmあたり)

L錐体(黄〜赤、580nmあたり)

・桿体(rod)…暗所視
↓
神経細胞で初期的な時空間処理
↓
網膜神経細胞(gangulion cell)→②皮質下経路(subcortical pathway)。下部記載。
↓
①外側膝状態(LGN:Lateral Geniculate Nucleus)
↓
大脳皮質
一次視覚野(大脳の最後部)

ここまで左右の視野は独立。
左視野は皮質の右半球へ投射(それぞれの目の左視野)
右視野は皮質の左半球へ投射(それぞれの目の右視野)
↓
両眼の情報と両視野の情報が統合
↓ ↓
↓ 背側路(dorsal pathway)　位置や運動の知覚、行為に関係する処理。
↓ ↓
↓ 頭頂連合野(最終出力が運動)
↓
腹側路(ventral pathway)　形や色の知覚に関係する処理、物体認識、質感。
物体の名前を言うなど。
↓
側頭連合野
②皮質下経路(subcortical pathway) 眼球運動の制御
↓
上丘(superior colliculus)

2.2.2視覚の基本特性

視覚の時空間処理に基づく基本特性

・同化
周囲の明るさと同じ方向に知覚が生じる。

図2.2.3上の二つの四角形のうち、左の背景色が中の黒いラインに合わせて、右より暗く見えることを指すと思われる。

・対比
図2.2.3下の二つの四角形のうち、背景色の対比により左側の内部の四角形のグレーが明るく見え、右側の内部の四角形グレーが暗く見えること。

このテキストでは特に「同化」がわかりにくいので以下を参照
http://www.isop.co.jp/main/sinri.htm

・順応(adaptation)と残効(aftereffct)

順応：感覚器官がある一定の刺激を与え続けられると，感受性が鈍くなってしまう傾向

残効：感覚器官がある一定の刺激が与えられていると，その刺激が消失しても，しばらくは その刺激の影響を受けること
http://ut0935s1.web.fc2.com/examprint/sougou/d/behavior/01_perception.pdf

下に流れる滝をしばらく見ていると(下方向への順応により、知覚の基準点が静止から下方向へ変化する)、隣の岩肌を見ると、岩肌が上がって見える(下方向が知覚の基準点になったために上がって見える。→運動残効motion aftereffect)
http://www.vision.riec.tohoku.ac.jp/hp/demo/MAE/index.php

・恒常性(constancy)

対象が同じであっても、見る方向や距離、照明などが異なれば、網膜に映る像もそれに合わせて変化するが、対象は比較的一定のものとして知覚される性質のこと。
http://kagaku-jiten.com/cognitive-psychology/perception/homeostasis.html

大きさの恒常性は、網膜像のサイズを奥行きの距離の情報をもとに、実世界での大きさに変換、補正していることを意味する。

明るさの恒常性→照明情報を元に、脳がもとの色を認識している。

2.2.3空間の知覚

網膜像に含まれる奥行き手がかり(depth clues)

■眼球運動性の奥行き手がかり(強くない)

・調節(accommodation)
対象にピントを合わせるために行われる水晶体の厚みの変化を制御する筋の状態が奥行きの絶対距離の手がかりとなる。知覚できる距離は1mくらい。

・輻輳(convergence)
両眼で対象を注視する際に生じる両眼の内転外転運動。知覚できる距離は数m。

以下参照
http://homepage3.nifty.com/EYE-CARE/pages/ac_a.html

■両眼性の奥行き手がかり

・両眼視差(binocular desiparity)(とても強い)

奥行きのある対象を見た時の左右の網膜像のズレ。
ランダムドットステレオグラムでは、両眼視差以外の情報がなく、個別の画像に形が知覚されなくても、両眼で画像を融合した際に、奥行きと形が知覚される。

・運動視差(motion parallax)

頭部運動による視点位置の変化によって網膜像に生じるズレ。

動きながら対象を見る場合、ある時点での眼と対象の位置関係は、次の時点の位置関係とは異なるため、それぞれの像の間にはズレが生じることになる。この時間的な像のズレから得られる情報が両眼視差の場合と同じように、奥行きの手がかりになる運動のこと。

以下参照
http://www.tsu-cc.ac.jp/yamasemi/06/54-9004/

【Nintendo Labo VR Kit】
わかる > VR > 「奥行きを感じられるのはナゼ？」

■単眼性の奥行き手がかり(絵画的)

・遮蔽(重なり：occlusion)

・遠近法(perspective)

・テクスチャ勾配(texture gradient)

・速度勾配(velocity gradient)

・キャストシャドー(cast shadow)

上方からの光が物体によって遮られて床面に影が落ちること。
物体と背景との相対的奥行き距離を知覚させる。(光源は変わらないという脳の思い込みによる)
http://osj-jsap.jp/publication/public/37-07-kenkyuronbun.pdf

・陰影

物体内の奥行き形状の知覚に役立つ。理論上は光源位置が決まらない場合、凹凸の判断が曖昧になるが、「光源は上方にある」という仮定を適用して凹凸を判断している。
この仮定を「自然制約条件」と呼ぶ。
http://maruhi.heteml.jp/materials/shading/index.html

以下参照
http://mcm-www.jwu.ac.jp/~physm/buturi02/holo02/tegakari.htm

2.2.4自己運動の知覚

網膜に投影された運動(オプティックフロー：optic flow)　※optic = 目の、視覚の
外界の物体、対象の運動だけでなく、自己身体の運動・移動(self-motion、ego-motion)の両方から生じる。
→視覚は網膜像の運動を物体・対象の運動と自己の運動に分離・解釈する必要

・自己身体の運動・移動によって生じていると解釈されるオプティックフロー
視野の広い領域を占める整合的運動、奥に提示された運動

・外界の物体、対象の運動によって生じていると解釈されるオプティックフロー
小さい領域のばらばらな運動、手前にある運動

オプティックフローによって生じるもの

・自己運動感覚(ベクション：vection)
隣の列車が動いたのに自分が反対方向に動いて知覚される錯覚

・視覚誘導性身体動揺(visually-induced postural sway)]
オプティックフローによって生じる姿勢の揺れ。反射で自己運動感覚よりも早く生じる。
http://repository.dl.itc.u-tokyo.ac.jp/dspace/bitstream/2261/6866/1/tachi_1999_048d.pdf

2.2.5高次視覚

形状、奥行き、運動の知覚：低次の情報処理。

高次視覚(high-level vision)：知識と注意を要する認識。物体認識(object recognition)を含む

・顔倒立効果(face inversion effect)
顔の上下を逆さまにすると顔の歪みに気づきにくく、認識が困難になる。
顔の認知は部分処理の集合ではなく、全体的構成の処理に依存している。
顔に体する過学習、親近性が原因。
(過学習：訓練データの特定のランダムな特徴にまで適合してしまうこと。)
身体姿勢、動作の知覚についても同様の特殊な処理が行われている。

2.3聴覚

2.3.1聴覚系の構造

「音を聴く」＝外界の音情報(振動)を耳を通じて神経情報として取り込み、脳神経系で情報処理をすることによる

聴覚系の周波数ごとの感度の違いは、外耳と内耳が特定の周波数帯域を伝えやすい特性(伝達関数：transfer function)を持つことが原因。

■外耳(external ear)
全体の構造が音源の空間的位置を特定するのに役立っている。
音が位置によって変わるのを、音が変わったのではなく位置が変わったと認識できる。
・耳介(pinna)
・外耳道(meatus)
↓
■中耳(middle ear)

外耳道中の空気(インピーダンスの低い媒質)を伝わって来た振動が鼓膜を振動させる。鼓膜の振動が耳小骨から内耳の蝸牛(リンパ液で満たされている。インピーダンスは高い)に伝えられる。
・鼓膜(eardrum)
・耳小骨

※インピーダンスマッチングとは
例えば水面に向かって叫び声を上げても、空気中の音波は水面でほとんどが反射され水中には伝播しにくい。ここで、軽く大面積の振動板とそれに連結した小面積の振動板を用意し、その面積比を水と空気の特性インピーダンスの比にあわせることにする。小面積の振動板を水面に触れさせ、大面積の振動板に向かって叫び声をあげれば、狭い面積の水に大きな圧力がかかり、効率よく音のエネルギーが水に伝えられる。聴覚系では、耳小骨がこれに近い働きをし、空中の音波を内耳のリンパ液に伝えている。

以下「音響インピーダンス整合」参照

http://ja.wikipedia.org/wiki/%E3%82%A4%E3%83%B3%E3%83%94%E3%83%BC%E3%83%80%E3%83%B3%E3%82%B9%E6%95%B4%E5%90%88

↓
■内耳(inner ear)
・蝸牛(cochlea)
チューブがカタツムリ上に巻かれている。基底膜が上下を分けている。音が上にはいると、膜が変形する。膜の動きによって毛が動く。信号に変換される。
音情報の振動が、蝸規定膜(basilar membrane)上の有毛細胞(hair cell)で神経信号に変換される。
担当周波数ごとに異なる有毛細胞があり、入り口→頂に向かって担当周波数が高→低野順に並んでいる(トノトピー)。人工内耳はこの規則性を利用する。
有毛細胞は、振動の周期の一定の位相で発火(神経パルスを発する)する位相固定(Phase locking)がある。これによりどの神経パルスを発したのが、どの振動の周期(周波数)かがわかる。
どの周波数で神経パルスが生じているか→どの周波数の音があるか。
規定膜上のどの辺の位置でどの位の数の有毛細胞が興奮しているか→音にどの周波数成分がどのくらい含まれるか。
の情報が得られる。

人工内耳→蝸牛管に電極を挿入して、音に反応して20数個の電極が電気信号を発進する。
場所による符号化＝トノトピー

位相固定→比較的低い音でしか役にたたない。

・前庭(vestibular)
加速度センサ

・半規管
加速度センサ
↓
■脳幹の神経核
視覚系と比べて、脳幹神経核の数が多い。音情報をより多くの特徴に分解して並列に処理。
↓
■側頭の聴覚皮質
☆脳神経系は末梢→皮質のボトムアップだけでなく、皮質→末梢のトップダウンも接続している。
例：有毛細胞の周波数選択性がトップダウンの神経接続によって同調がより鋭くなる。

たぶん耳を澄ますことかと。

2.3.2聴覚の問題と音脈分凝 (音源分離)

媒質の振動を引き起こした音源を推するメカニズム
・オンセットタイミング(鳴り始めと鳴り終わり)が異なる成分は異なる音源に由来するものとみなす
・周波数の帯域が離れた成分は同じ音源に由来していないとみなす

音脈分凝(auditory stream segregation)
オンセットなどの時間条件、帯域の重なりなど周波数条件、空間的条件などを変化させて、個々の成分がどの１つの音脈としてまとまって知覚されるかのパラダイム
http://www15.atwiki.jp/ad06/pages/75.html

設定不良性：「湖のハンカチ」メタファー
湖に二枚ハンカチがゆらゆらする。そのハンカチの揺れから、魚が泳ぐ、ボートが走るなどの現象を判別しているのと、耳がやっていることは同じ。
原理的な不可能性を乗り越えて、聴覚が音脈分凝を行っているのか、聴覚研究が明らかにしようとしている。

音脈分凝：どういう手がかりから音をまとめるか、個別の音と認識するか

2.3.3聴覚による高さ、大きさ、音色、時間の知覚

■音の高さの知覚(pitch)
周波数が高くなる程高く感じられる。

ハイト(height)：絶対的な高さの知覚。有毛細胞の場所(トノトピー)によって知覚されると考えられる。

クロマ(chroma)：2倍(octave)の関係にある周波数同士が等価に感じられる。オクターブ毎に繰り返される相対的、周期的な高さの知覚。位相固定による符号化によって知覚されると考えられる。

周波数が1500Hz以上になると、有毛細胞の神経発火が波形の位相に同期できなくなり、クロマの知覚が消失する。

■複合音の高さの知覚
複合音は、基本音(fundamental tone)と基本音の整数倍の周波数の倍音(harmonics)から構成される。倍音構造を知ると音源が推定できるので、一番低い所をとろうとする。
複数の帯域に周波数成分が存在しても、基本音の高さを知覚できる。
基本音の成分が欠けていても、基本音の高さを知覚できる。(missing fundamental)

■音の大きさの知覚(loudness)
同じ周波数の中では振幅が大きくなる程音も大きく感じられるが、周波数により感度に差が大きい。
人点の可聴域20Hz〜20000Hzのうち、感度は4000Hzをピークで、高周波側、低周波側となだらかに下がる。
感度差は音全体が小さい程大きくなり、検出域付近の小さな音の場合、80db差になる。
大きさは帯域間の振幅(またはエネルギー)だけでなく、振幅の時間的変動パターン(エンヴェロープ：envelope)の影響も受ける。
心理的に感じる音の強さは、実際の音の強さと同じではない。

■音色(timbre)
同じ大きさと高さを持った2音が異なる音と判断されたときの、その相違に対応する聴覚の属性。
音色の相違は、主に倍音構造の違いだが、エンヴェロープの影響も大きい。

■聴覚の時間解像度
一般に時間解像度は2〜3ms(非常に高い)
ホワイトノイズの無音部分の検出によって測定される。(音がとぎれた、と気づく)
両耳の差は6μsであり、その差を聞き取ることができている。

ホワイトノイズは以下参照。
http://ja.wikipedia.org/wiki/%E3%83%9B%E3%83%AF%E3%82%A4%E3%83%88%E3%83%8E%E3%82%A4%E3%82%BA

■時間積分
200ms程度の情報を積分して、検出や弁別を向上させる。

■両耳間時間差(interaural time difference)
最大で6μsを検出できる解像度

2.3.4聴覚による空間知覚

聴覚だけで音源の位置を知覚(音源定位：sound localization)する事ができる。

■両耳間差(interaural difference)

・両耳間レベル差(interaural level difference)：頭部が音を遮る事によって音源とは反対側の耳に到達する音のレベルが小さくなる。(例：右がギターで左がベースが聞こえるなど)

・両耳時間差(interaural time difference)：音源側と音源と反対側の耳までの到達距離の差

■ステレオ
両耳間差の制御によって作り出された立体音響。
十分な空間解像度をもたらす。水平面上の音源位置は1°程度の制度。
音源が正中面上にある場合に手がかりにならない。水平面上ではなく空間上では両耳からの距離が同じ点が無数にあり(2点からの距離だから)、音源位置は1意に定まらない。

■フィルタ
頭部や耳介が、音を遮ることによって、音源に加える複雑なスペクトルパタンの変化を、音源位置の手がかりとして使われるため、フィルタと見なす。
伝達の仕方の関数を、**頭部伝達関数(Head Related Transfer Function:HRTF)**と呼ぶ。
・前方に定位するのが難しい
・前後の間違いも起こりやすい

頭内定位：ヘッドフォンで聞くと、頭の中で聞こえる。

頭外定位：頭、耳介によってもたらされる。

2.4体性感覚・内臓感覚

2.4.1体性感覚・内臓感覚の分類と神経機構

体性感覚：皮膚で感じる表材性の皮膚感覚、骨格筋、腱、関節で感じる深部感覚

内臓感覚：胃、腸、肝臓などの内臓で感じられる感覚
(視覚、聴覚、嗅覚、前庭感覚以外の感覚)

体性感覚と内臓感覚の受容器

・機械受容器(mechanoreceptor)：皮膚の触や圧、筋肉の伸張や緊張などの身体に加えられた機械的刺激に応答する
・温度受容器(thermoreceptor)：体内外の温度に対し温冷などの感覚を引き起こす
・化学受容器(chemoreceptor)：pHなどの化学的刺激に応答する
・侵害受容器(nociceptor)

2.4.2皮膚感覚

無毛部：手指、手掌。触覚による情報取得に重要な役割を果たす指紋、掌紋がある。
有毛部：毛穴の存在する部分。
皮膚の構造：外側→内側に、表皮、真皮、皮下組織の3層

■皮膚感覚受容器

場所：表皮と真皮の境界から皮下組織にかけて存在。

種類：
・カプセルなどの特殊構造を持つ受容器→全て機械受容器
・自由神経終末(free nerve ending)→機械受容器、温度受容器、侵害受容器

■触覚(tactile sesation)
皮膚に加えられた適度の大きさの機械的刺激を受容する感覚。
通常の触覚に関係する受容器は特殊構造を持つ機械受容器。

・皮膚の機械受容器
無毛部：マイスナー小体、パチニ小体、メルケル触盤、ルフィニ終末の4種類
有毛部：パチニ小体、ルフィニ終末、毛包受容器、(メルケル触盤)
http://meddic.jp/%E3%83%A1%E3%83%AB%E3%82%B1%E3%83%AB%E7%9B%A4
http://teapot.lib.ocha.ac.jp/ocha/bitstream/10083/2859/1/KJ00004828125.pdf

・機械受容単位：機械受容器とそれに連なる神経線維(Aβ線維)を１つの単位と考える。
受容野(receptive field)の形態と神経発射特性から4種類に分かれる。

速順応Ⅰ型単位(FAⅠ)：受容野の直径数mm。受容野境界ははっきりしている。刺激の速度に神経発射。マイスナー小体。

速順応Ⅱ型単位(FAⅡ)：受容野は大きい。受容野境界は不鮮明。刺激の加速度に神経発射。

パチニ小体。

遅順応Ⅰ型単位(SAⅠ)：受容野の直径数mm。受容野境界ははっきりしている。刺激の「変位+速度」に神経発射。メルケル触盤。

遅順応Ⅱ型単位(SAⅡ)：受容野は大きい。受容野境界は不鮮明。刺激の変位に神経発射。ルフィニ終末。

・触覚情報の経路
触覚→脊髄→視床→大脳皮質体性感覚野。
体性感覚野の触覚情報を処理する部分は、手や唇などからは面積が広く、胴や大腿は狭い。

・触覚系の基本能力(空間解像度と時間解像度はトレードオフ)

触2点閾(two-point threshold)
皮膚上の2点を同時刺激し、2点に感じられる最小距離。＝空間解像度(受容器の空間分布密度)
手指・口唇・舌→2〜3mm
上腕・背・腹・大腿15〜30mm

振動検出閾
受容器の周波数特性=時間解像度
皮膚に1〜500Hz程度の正弦波振動刺激を提示して、振動検出閾を測定したものが、振動検出閾曲線。検出閾曲線は250Hz付近に振幅訳0.1μmの最低閾値があり、両端に近づくにつれ上がる。
40Hz以下では、FAⅠ(マイスナー小体)が振動検出閾曲線パターンを決定。
40Hz以上では、FAⅡ(パチニ小体)が振動検出閾曲線パターンを決定。

＊参照
【Nintendo Labo VR Kit】
わかる > Joy-Con > 「HD振動の正体を見てみよう」(振動の周波数変化の体感ができる)

■温度感覚(thermal sesation)

・温覚
皮膚温より高い温度に反応する
自由神経終末。神経線維は無髄線維
40〜45度付近でよく神経発射(45度以上は熱痛覚に移行)

・冷覚
皮膚温より低い温度に反応する
自由神経終末。神経線維は細い有髄線維
30度付近でよく神経発射(15度以下は冷痛覚に移行)

・無関帯
皮膚温度に近い31〜36度の範囲で温覚も冷覚も生じない中性判断が生じる。
順応温度、刺激面積等にも依存して変わる。

■痛覚(pain)

・痛覚 →体性痛覚 →表在性痛覚 →皮膚の痛み
→深部痛覚
→内臓性痛覚

・表在性痛覚の受容器
侵害性受容器。自由神経終末。神経線維は細い有髄線維と無髄線維。

・痛覚情報の経路
皮膚→脊髄を上行→視床→大脳

・速い痛みと遅い痛み
速い痛み(第一の痛み)
針を皮膚に突き刺したときの痛み。刺された場所が明確にわかる。
刺激がなくなると急速に消失し、後に遅い痛みが続く。有髄繊維。

遅い痛み(第二の痛み)
痛みがにぶく空間的な広がりを持って感じられ、ゆっくり消えて行く。無髄繊維。

・急性の痛みと慢性の痛み
急性の痛み
事故による怪我等。傷害部位に限局して起こる。傷害を知らせ警告する機能がある。

慢性の痛み
癌の痛みなど。長期間にわたり繰り返し起こり、傷害の程度と痛みの強さの間に相関関係はない。除去が望ましい「有用性のない」痛み。

・他の感覚や大脳からの抑制
痛覚では触覚と異なり、一定強度の侵害刺激が常に同程度の痛みを引き起こすとは限らない。侵害情報が脊髄や触覚など他の感覚野大脳からの抑制制御を受けると考えられる。

2.4.3深部感覚

深部感覚(deep sensation)：四肢相互の位置関係や動き、四肢に加わる力などを検出する。受容器は筋肉、腱、関節に存在する。身体の内部の情報を受容する固有受容器(proprioceptor)と呼ばれる。深部感覚を固有感覚ともいう。

固有受容器(proprioceptor)：筋紡錘、ゴルジ腱器官、関節受容器の３つがある。

・筋紡錘(muscle spindle)
錘内筋線維、感覚神経、運動神経の3要素からなる。
全長6〜8mmの紡錘形の構造で、両端が筋紡錘と平行する筋線維に付着している。
錘外筋の収縮・伸張に合わせて、錘内筋の長さを調節する事により、筋肉の収縮・伸張の程度や動き情報を知る。

・ゴルジ腱器官
筋肉と腱の以降部分に存在。筋肉が収縮する時によく反応する。
筋肉の伸張収縮に体する筋紡錘と腱器官の反応は異なり、相補って深部情報を伝える。

・関節受容器
パチニ小体、ゴルジ・マッツオニ小体、ルフィニ終末のほか、多くの自由神経終末がある。

深部感覚の分類：位置覚、運動覚、力覚に分けられる。

・**位置覚(**sense of position)
自分の四肢の相対的位置を知る感覚。目を閉じても四肢の位置がわかる感覚。
筋紡錘、腱器官、関節受容器が関与。

・運動覚
自分の身体を動かすときにその動きの速さや方向を知る感覚
筋紡錘、腱器官、関節受容器が関与。

・力覚
抵抗に逆らって関節位置を保持するための筋力を推定する感覚。手を水平に保った状態で物を載せて、抵抗が変化しても、手を水平に保つことができるのは、力覚のため。
筋紡錘、腱器官が関与。

深部痛覚(deep pain)
筋肉、骨、関節、結合組織等からの痛み。拡散する痛みであり、痛む場所を的確に示す事は難しい。
精神的緊張によって、筋肉が緊張し続けると、筋痛を引き起こす事が有る。
通常の運動時に筋肉への血液供給を止めると、筋収縮時の代謝産物である乳酸などの科学物質が溜まるために筋痛が起こる。

2.4.4内臓感覚

内臓救心性線維：内臓からの情報を中枢に伝える。自律神経系(autonomic nervous system)に属する。自律神経遠心性線維である交感神経、副交感神経と同じ経路を走行する。

内臓受容器の役目
体内の恒常性を維持することが基本的な役目。主観的感覚を引き起こす事が目的ではないため、通常は意識される事はなく、特定の場合にのみ意識化される。

例： 大動脈弓などの圧受容器からの血圧情報による血圧調節→意識化されない
飢え、渇き、尿意、便意→感覚として意識化され摂食、排便等の行動を引き起こす

内臓痛覚

自由神経終末の侵害受容器の密度が低い
機械的刺激では生じない
内臓平滑筋を機械刺激しても痛みは感じないが強く収縮すると、激しい痛みが生じる。
どこが痛いかという局在性が不明確で、強い情動性(気持ち悪さ)を伴う。←内臓救心繊維が同時に発射し、吐き気などの自律神経反応を引き起こすから。

2.5前庭感覚

2.5.1前庭感覚の受容器と神経系

半器官→角加速度受容器。回転各速度出力。
(加速度は半器官で、定速度は視覚で認識している。)

2種の耳石器(卵形嚢、球形嚢)→直線加速度受容器。頭部の傾斜の受容器。

・半器官の構造
前半器官・後半器官・水平半器官が互いに直交する3平面上に位置。
約2/3の円弧をなす環状の構造。内部は内リンパで満たされている。
卵形嚢と連結する付近に膨大部があり、この内部の膨大部陵に有毛細胞が並んでいる。
有毛細胞には数十本の不動毛と１本の動毛が規則的に配列され、ゼラチン様物質のクプラで結束されている。

・半器官で回転を受容する仕組み
頭部が回転する→内リンパが慣性によって静止しようとして、半器官内で逆方向の回転が生じる→クプラが変位して、有毛細胞の感覚毛を傾ける→有毛細胞の細胞内電位が変化→回転が受容される。

・半器官からの出力
頭部の生理学的振動の範囲(0.1〜1.5Hz)の回転では角速度に比例した出力が得られる

・耳石器の構造
１個の卵形嚢、１個の球形嚢からなる。
両者の平衡班に有毛細胞が並んでいる。平衡班は多数の耳石を包埋した耳石膜で覆われる。
卵形嚢の平衡班は水平に、球形嚢の平衡班はほぼ垂直に位置する。
卵形囊は水平方向の加速度や頭部の傾斜に刺激される。
球形嚢は垂直運動に刺激される。
有毛細胞の形態的極性(感覚毛の配列方向)は分水嶺を境として反対方向に向きを変える。

・耳石器が直線加速度、頭部の傾斜を受容する仕組み
頭部に直線加速度が加わる→慣性によって耳石は平行班に対して相対的に逆方向の動きをする→①
頭部が傾斜する→耳石が重力の作用方向に動く→①

①→耳石の動きのために耳石膜が変位する→感覚毛を傾ける→有毛細胞の細胞内電位が変化する→運動感覚、傾斜感覚が誘起される

・神経系の流れ
有毛細胞の電位変化によって、前庭一次求心性線維の放電頻度が増減
→前庭神経核で二次ニューロンに投射→眼球運動系・脊髄運動系・小脳・自立系・視床大脳皮質系
→一部は小脳の片葉小節葉(平衡機能と眼球運動を調節する)やその周辺に直接投射

2.5.2平行機能の基本特性

・身体運動や傾斜の知覚
・視覚情報を正確にとらえる。
・視覚安定化・姿勢維持のために反射性の調節・代償運動を引き起こす
・姿勢変化に伴う自立系の調節

前庭動眼反射(Vestibulo-Ocular Reflex)
視線を空間内で一定に保ち網膜像のぶれを安定化させる。頭の動きに対して、眼球(カメラ)のぶれ補正をする。

＜半器官系の反射＞

・頭部が回転した時に眼球を逆方向に回転させる。
・回転が続くと眼振を起こす。

水平運動、垂直運動に対してはほぼ同じ角速度で逆方向に眼球運動をして補正する。回旋の時は回転角速度に対する眼球運動の角速度は小さい。

＜耳石系の反射＞

・代償性眼球運動
頭部に直線加速度が加わった時に、逆方向に眼球が動く

・眼球反対回旋
頭を傾けた時に反対方向に眼球が回旋する

前庭脊髄反射(Vestibulo-Spinal Reflex)
身体平衡維持：姿勢のくずれや頭位の変化を回復するように四肢を伸展・屈曲させる
前庭頸反射：頭部が動いた時にブレーキをかけるように、頸筋に働き、頭の位置を固定して安定化させる。

2.5.3身体運動と傾斜の知覚特性

身体運動

ヨー回転
半器官のみで知覚
閾値0.1〜0.3deg/s2
等加速度で回転すると20〜40秒までは角速度が増すが、その後は回転感覚が減衰して減速していると感じる。さらに回転が続くと感じなくなる。
加速を止めて等加速度回転になった時には逆方向の回転を感じる。
大きな角速度で短時間の加速を行うと加速終了後も加速度の増加を感じる。

ロール回転
閾値4deg/s、0.4deg/s2
角速度閾値以下で運動が起きている時の傾斜閾値1.2deg
静的傾斜閾値1.5deg〜2.2deg
ロール角度小→過大知覚(Muller効果、E-効果)
ロール角度大→過小知覚(Aubert効果、A-効果)

ピッチ回転
重力加速度の大きさを変化させた場合、ピッチ方向への傾斜感覚が変化する
ピッチ角度25〜30deg以下の前傾〜正方位の範囲→重力加速度が大きい程過小知覚
ピッチ角度25〜30deg以上の前傾〜正方位の範囲→重力加速度が大きい程過大知覚

周期的な直線運動： 閾値x、y軸運動＜z軸運動
閾値のピークか速度　0.1Hz〜0.5Hzの範囲で、2＝25cm/s*s(0.02G〜0.25G)
周波数が高い程、閾値が低い

持続的な直線運動： x軸方向6cm/s2、z軸方向10cm/s2

エレベーター錯覚： エレベーターで上昇する時のように重力方向の加速度が大きくなると、眼前の指標が上がったように知覚される。
頭部を25〜30deg前傾させるとエレベータ錯覚は生じない。

2.5.4動揺病

一般的症状： 顔面蒼白、冷や汗、目眩、頭痛、唾液分泌の増加、胃のむかつき、悪心、吐き気、嘔吐
前症状： あくび、眠気、倦怠感、疲労感

感受性の差
・性別：女性＞男性
・年齢：12〜15歳を超えると減少する
・性質：神経質、心配性＞外交的、積極的
・経験：シミュレーター酔いは、熟練者ほど高い(感覚の整合性がずれやすいため酔いやすい。)

コリオリ刺激
身体を水平回転しながら、頭部をピッチあるいはロール回転する。強い動揺病をもたらす刺激。ほぼ誰でも酔う刺激となる。

動揺病の原因

・感覚矛盾説
身体の運動や姿勢の情報を受容する感覚系の間で情報の矛盾があると動揺病が発生する。
通常とは違った感覚情報の組み合わせが入力されると記憶から予期される組み合わせとの間に不一致が生じて動揺病が発生する。
例 視覚と前庭感覚の矛盾

半器官と耳石器の矛盾
主観的鉛直軸の矛盾は特に動揺病を起こさせやすい

・眼振の関与
視運動刺激によって生じる視覚性動揺病に関しては、眼振の関与が提唱されている。

・毒理論
感覚系の矛盾が起こると、身体に何か毒が入ったから吐き出そうとして、嘔吐の症状がおこるのでは、という理論。
動揺病が経験で修正されることが大きいのも、経験によって毒ではないと学習するからではないかと推測されている。

2.5.5前庭感覚と視覚の相互作用

眼球運動での視覚・前庭感覚協調
・新たな対象への視線：サッケード＋前庭動眼反射(注視の方向を一定に保つようにする)
※サッケードhttp://hanemimi.tumblr.com/post/61031942

・指標の追跡：追跡眼球運動＋前庭動眼反射(頭を動かして指標を追いかける時に、眼球が反対方向に動いて、網膜像がぶれないようにする)
姿勢維持での視覚・前庭感覚協調

・静止時・遅い運動時は視覚による代償が主

・速い運動時は前庭系による代償が主

動揺病における視覚の相互作用
・前方の道路がよく見える場合には見えない場合の1/3の発生率になる
・車内の静止物を注視していると、閉眼時より酔いやすい。
・車載ディスプレイで映画を視聴すると通常の乗車時に比べて2倍程度強い車酔いが発生

ベクション(視覚誘導自己運動感覚)
・視野の広範囲が動く視運動刺激を与えると逆方向に自分が動くように感じるベクションが、視覚性動揺病を発生させると考えられて来たが、必ずしもベクションの強度と動揺病強度は一致しない。

2.6味覚・嗅覚

2.6.1味覚の受容器と神経系

提示技術として確立していない。
味覚も嗅覚も構造と機能にまだ不明な点が多い。
科学情報であるため制御が難しい。

味覚系の構造
味蕾： 味物質受容器(センサ)。乳頭(舌のブツブツ)の下に収まっている。
舌以外に、上あご、喉の奥にも分布。
甘・酸・塩・苦・うま」の基本五味を受容する。

基本五味の受容の違い
甘・うま・苦：分子量が大きい
細胞外受容体→細胞内Gタンパク質を介して細胞内へ情報が伝えられる。

塩・酸：は分子量が小さい
イオンチャンネルを介して細胞内へ流れ込み直接味細胞を活性化する。
※辛　は痛覚として感知→味覚神経ではなく三叉神経を介して脳へ

味覚情報の伝達経路

口→視床(嗅覚以外は感覚は視床に。大脳新皮質に中継する役割)→一次味覚野
→扁桃体(好き嫌い等、情動に関わる。危険なとき吐き出せるように)
→眼窩前頭皮質(他の感覚と統合される)

2.6.2味覚の特性

基本五味間には相互作用がある。→高次処理に依存(受容器応答と必ずしも一致しない)

うま味+塩＝うまみを強調。うまみだけだとおいしい味ではない。
甘＋塩＝甘味を強調

種の間での味覚の違いは大きくない
・違う物もある

アスパルテーム
動物には甘く感じられない。

・甘み：エネルギーの存在
人工甘味料→血糖値をあげないので、生理的欲求に答えない。接種を続けているとその甘味料の味が嫌いになる。(生体防御の一種)

・うま味：タンパク質の存在
イノシン酸、グアニル酸、グルタミン酸
イノシン酸、グアニル酸はうまみ増強物質とされるが、日本人は単独でもうまみを感じる。
食文化による部分が大きい。

・苦み：毒や薬の存在
受容体は25種
苦みセンサを作ろうとすると難しい
生体に危険な物を苦く感じ飲み込む前に吐き出す生得的な自己防衛本能が存在。
言語的表現にバリエーションがない。
学習により慣れる。

・酸味：腐敗の存在
おなじpHでも、酸味がことなる。塩酸より酢酸の方が酸っぱい
働いているセンサがことなる。
運動中はレモンがおいしい。クエン酸がクエン酸回路に入り素早くエネルギーに変わるため。

・塩味：ミネラルの存在
発汗、利尿により体内塩分が減少し、塩味が欲しくなる。
ダイエットなどでカロリー不足になると塩味が欲しくなる。
唾液の分泌をうながし、味物質を口内に広げる。
塩化カリウムでも塩味を感じる。

2.6.3嗅覚の受容器と神経系

受容器：鼻腔の嗅粘膜の嗅細胞に匂い受容体が発現する。匂い分子に反応→大脳の嗅球へ
350種類以上の受容体が存在する。(脳幹に中継核が存在しない)
受容器と化学物質は１対１対応ではない。→匂いの開発は難しい。
嗅球の糸球体層から情報を投射され、僧帽細胞に分子構造マップが形成される。
僧帽細胞が働くと近接する僧帽細胞を抑制することでより精緻なマップになっている。

2.6.4嗅覚の特性

・2つのにおい
オルソネーザル：鼻から入ってくる匂い
レトロネーザル：口腔から入ってくる匂い
咀嚼や温度上昇によって、口中で匂い成分が放出される。同じ食物でも、オルソネーザルレトロネーザルで匂いは異なる。

・種の間での嗅覚の違い
人間の主観的分類とマウスの嗅球応答は近い

・匂いは分子構造だけできまらない。
他の感覚の情報(見た目や三叉神経の興奮等)と融合したトップダウン処理の影響を強く受ける

例：
フローラルの匂い→アセトフェノン(ケトン)、フェネチルアルコール(アルコール)
ミンティの匂い→カルボン(ケトン)、メントール(アルコール)

・嗅覚の発達
学習によって変わる。不快、危険は学習として身につける。
匂いの好みは生得的なものではなく学習によるもの。
大人はバラの香りを口臭や腐敗臭より好むが、二歳半の幼児ではその傾向は見られない。

・匂いの学習と文化
現代の日本人による匂い分類は食品・不快・植物・化学物質に大別される。
匂いのカテゴリー分けは、嗅覚以外の手がかりによって認識される対象や対象の状態そのものなど、具体的な事象に基づいておこなわれる傾向がある。
文化的、時代的影響を強く受ける

2.7モダリティ間相互作用と認知特性

モダリティ(modality 感覚様相)とは

視覚、聴覚、など五感の別。外界から情報を受け取ったり、身体の状態をモニタリングする時のセンサの違い。
感覚を合わせた時にどうなるか。感覚で互いに高い相関がある。
人間が処理する情報量は視覚が90％以上(根拠はなし)
量的な比較は不毛。それぞれの役割への理解が必要。

2.7.1視覚と聴覚の相互作用

腹話術効果
視覚→聴覚への影響
音源定位が視覚の位置に引っ張られる。映画でキャストから声が聞こえる。
音と視覚刺激の間隔が10°以内の時は音と視覚刺激の種類が関係ない時にも効果が現れる。
視覚と聴覚のタイミングが200ms以上ずれると効果がほぼ消失する。

ダブルフラシュエフェクト
聴覚→視覚への影響
音が二回短く鳴ったのを聞くと、映像も点滅して見える
時間的な解像度は聴覚の方がすぐれているので、引きずられるのではないか。
腹話術効果ほど強くない。

マガーク効果
「ba」と発話している音声と「ga」と発話している映像を組み合わせると「da」が聞こえる。
言語音声の知覚は口唇の形状等視覚情報の影響を強く受ける。

2.7.2体性感覚とその他のモダリティの相互作用

視覚によって、体性感覚に影響がでる。

シュード・ハプティックス(pseudo haptics)
マウスの操作に対応したモニタ上の視覚刺激(ポインタ)の移動速度を変化させると、操作している身体部位(手)に擬似的な力覚が生じる。
視覚や聴覚が物体表面のテクスチャの触覚に影響を及ぼす

ラバーハンド錯覚
視覚と空間の矛盾した状態によって、視覚が優先された。
http://www.kanshin.com/keyword/9246332

知覚のモード・チェンジ
身体の動きがある時には時間順所判断のパフォーマンスが向上する
情動によって低次の知覚パフォーマンスが影響を受ける

2.7.3思考、記憶と学習(1)思考

人間の思考の独自性：論理学的ではなくエラーやバイアスを含む人間独自の情報処理過程の反映。思考のバイアスが重要な研究ツールとなる。
・演繹推論に見られるバイアス
双条件解釈バイアス
AならばBというと、BならばAと思いたくなる

主題材料効果
問題を具体的な内容に変更するだけで正しい推論が導かれやすくなる。

・帰納的推論に見られるバイアス
確証バイアス
少数の事例からいったん一般則を仮定した後は反証となる事例を無視する傾向がある。

・確立判断に見られるバイアス
賭博者の錯誤
コイン投げでずっと裏が出ると、つぎは表がでるのではないかという気持ちになる。

代表性ヒューリスティクス
確立を求められた時にその集団を主観的に代表していると感じられる事象に起きかけて判断してしまう。

2.7.3思考、記憶と学習(2)学習

二重貯蔵モデル
記憶内容の保持期間によって短期貯蔵庫と長期貯蔵庫の2種類の記憶が存在すると考えるモデル。

感覚入力
↓
感覚登録器(容量はほぼ無制限)
↓
(注意システムによる情報選択)
↓
短期貯蔵庫(厳しい容量制限)
↓
(精緻化リハーサルや情動のゲーティングによる転送)
↓
長期貯蔵庫(容量はほぼ無制限)

短期貯蔵庫(short term storage)の特性
意識操作可能な情報量(コンピューターの「メモリ」の容量に相当する)は非常に限定される

貯蔵庫としての特性
内容：一時的に電話番号を覚えるなど。
容量：7±2(マジックナンバーと呼ばれる。単位はチャンク:chunk。)
チャンクという単位は「情報の固まり」の意。
語呂合わせなどの符号化の仕方により容量が変化する。

作動記憶(working memory)としての特性
情報処理の観点から短期記憶をとらえる。
処理と合わせて理解される。デュアルタスク課題がツールとなる。
保持のみを課題として調べられた短期記憶の容量よりさらに少ない
→自動化(習熟)によって意識しないでできるようになることでマルチタスク化できる。

長期貯蔵庫の特性
永続的な記憶。容量はほぼ無制限。記憶内容により分類できる。

・意味記憶(semantic memory)
概念や意味等の知識の記憶
典型性効果…ある概念の成員がみな同じ地位なのではなく、より鳥っぽい等の典型性の違いが存在する。

・エピソード記憶
特定の時間と場所に関係した記憶のこと。思い出。

・手続き記憶(procedual memory)
スキルを身につけること。自転車に乗るなど。言葉で説明する事が難しい。記憶は記号的情報だけで構成されているわけではない。

短期貯蔵庫から長期貯蔵庫へ情報の転送(memoraization)
・繰り返し(リハーサル)
単純な反復によって記銘が促進される

・精緻化
処理水準を深めることで記銘する

・情動の関与
強い情動によって記銘される。強く感情を動かされた経験は忘れない、など。
海馬など大脳辺縁系と関係があると考えられる。

潜在記憶(implict memory)
覚えているという自覚無しにその後の行動や判断に影響を与える情報が保持されていること。

学習(learning)
知識やスキルの獲得だけでなく、訓練による知覚精度向上も学習過程として考える。
単純な反復や構造化された訓練によって、知覚のパフォーマンスも向上する。
刺激に触れる頻度によってもパフォーマンスが変化する。

2.7.4アフォーダンス

生体が環境から受け取っているのは、色や音の高さなど物理的な属性の束ではなく意味であり、意味が環境を構成する単位になっている。

知覚理論としてのアフォーダンス

J.J.Gibsonによる概念
生体にとっての環境の意味や価値
例)川に渡された丸太→人にとっては橋だが、ゾウにとってはそうでない

デザイン理論としてのアフォーダンス
D.A.Normanによる概念
一定の行為を導くために形態や造形が持つ用途や使用方法のメッセージ

第三章バーチャルリアリティインターフェース

3.1バーチャルリアリティ・インターフェースの体系

VRの三要素

インターフェース	ハード	ソフトウェア
入力インターフェース	センサ	認識エンジン
出力インターフェース	ディスプレイ	ディスプレイドライバ

入力インターフェース

検出するもの
物理的状態：人間の身体形状・運動・顔の表情・視線(感性情報にもなる)
生理的状態：生体電気信号・脳活動・生理指標
心理的状態：脳活動(質問紙やプロトコル分析はVRにおけるセンサではない)

※社会的特性は測るセンサがないので検出できない

出力インターフェース

感覚モダリティ	提示方法(ディスプレイ)	ディスプレイ・ドライバ
視覚	立体視	左右の映像の分離
没入ディスプレイ	ビューボリュームの設定
聴覚	両耳型	HRTF
空間型	キルヒホッフの積分方程式
前庭感覚	モーションベース	ウオッシュアウト、ウォッシュバック
味覚	味物質の滴下手法	五基本味の調合手法
嗅覚	匂い物質の気化手法	匂い物質の調合手法
皮膚感覚	振動子、空気圧、電気刺激	テクスチャの提示アルゴリズム
深部間隔	装着型、把持型、対称型	硬さの提示アルゴリズム
他の間隔との複合	運動視、歩行、口内間隔
神経系への直接刺激	人工内耳、機能的電気刺激

3.2入力インターフェース

入力インターフェース

入力するもの：人間自身(行動、意思など)
VR世界に人間を読み取る物がセンサ

検出するもの
物理的状態：姿勢・表情
生理的状態：身体の中の状態。
心理的状態：気持ち

3.2.1物理的特性の計測

・各種センサを使って人間の姿勢を計測する＝モーションキャプチャ
3次元位置センサと類似した技術

お手軽モーションキャプチャ

深度センサ
RGBカメラ＋距離画像センサ
人体認識機能
(正確に方とか腰の位置を認識できるわけではない)

精度を追求したモーションキャプチャ

現実の身体にマーカーをつけて、人物や物体の動きをセンサを用いてデジタル的に記録
※精度の要求は用途による。

パフォーマンスキャプチャ＝モーション＋フェイシャルモーション
・顔の表情、目、唇、皮膚(の下の筋肉)の動き、人の表情を撮れる
例)アバター、ベオウルフ

モーションキャプチャの方式
**計測する情報 ** ：計測デバイス

角度 ：ゴニオメータ、ジャイロスコープ

運動 ：加速度センサ

位置 ：超音波センサ、磁気センサ、カメラ

1角度

機械式モーションキャプチャ

・ゴニオメータを利用。
形式： 人体に対して外骨格のようなフレームを取り付け、関節の角度を計る。
かなり初期の頃から使われている
長所： 人間の関節の動きを写し取る。正確に安定してはかれる。初期設定が簡単。
短所： 安定しているがフレームが人間の動きを阻害してしまう。フレーム装着が難しい。
フレームと骨格のズレ
(フレーム関節角度と人体の関節角度が正確には一致しない。)

・ジャイロスコープ(gyroscope)を利用

形式：ジャイロスコープは角度や角速度を計測
　　　コマ軸をバネで支持しバネにかかる応力から角速度を計算
　　　角速度を積分して角度を求める。
　　　ジャイロスコープはMEMS技術によって近年小型化した。
　　　http://ja.wikipedia.org/wiki/MEMS

長所：センサ単体で角度が得られ、小型化して、フレームが不要。

短所：角速度を積分して角度を得ているため誤差が蓄積しやすい
　　　静止時の変動量によるドリフト誤差がある。
　　　実際のセンサ位置と人体モデル上でのセンサ位置のずれが生じる場合がある

＊参照
【Nintendo Labo VR Kit】
わかる > Joy-Con > 「ジャイロセンサーの弱点！？１」

2運動

加速度センサ(accelerometer)を用いたシステム
形式：得られた加速度を積分して速度や移動距離を求めて姿勢情報を獲得する。
長所：どこでも計測できる。制約がすくない。装着が容易。
短所：計測誤差の低減が課題
　　　少し前まではあまり有用ではなかった。
　　　他のセンサとの組み合わせによって精度保証する
　　　近年ではデバイスの高精度化によって加速度センサのみによるモーションキャプチャが製品化されている。

加速度センサの方式

機械式 コイルや板バネを使って加速度を計測。耐久性に難。慣性質量大
↓
光学式 光ファイバの張力変化を光の波長変化として計測
↓
半導体式 微小な可動部で位置変化を静電容量変化として計測する
　　　　　MEMS技術による小型化

＊参照
【Nintendo Labo VR Kit】
わかる > Joy-Con > 「なんと重力も加速度？」

3位置

多様な位置センサを使用して、姿勢を計測する。

超音波センサ
磁気センサ
光学式センサ(カメラ)

・超音波式
形式：超音波センサをつかって音が到達または跳ね返ってくるまでの時間を計測
計測箇所にセンサ(超音波送信部スピーカー)を装着
長所：コンパクトで装着負担が軽い
短所：応答性が遅い。他センサと組み合わせて応答性を改善する必要がある。
音なので遮蔽物に影響される
計測範囲が超音波の到達範囲であり狭い

・磁気式
形式： 対象空間に磁界を発生させ、コイルで磁界の違いを読み取り姿勢と位置を観測する。x,y,z軸それぞれの方向に対応した交流磁場を展開。
磁気センサによって6自由度計測(並進3自由度、回転3自由度)
一様で安定な磁場を生成する。
計測点ごとに磁気センサを配置する。
たくさん製品化されている。
非常に精度が高く応答性もよい(120Hz)ので、よく用いられる。
例)Ascension MotionStar
長所：運動にともなう死角がない
　　　遮蔽物の影響を受けない
　　　比較的低コスト
　　　動きを制約せずに確実に位置をとれるので精度が高い
　　　装着負担が少ない
短所：磁性体が近くにあると磁界が歪み精度に影響する。
　　　建物の中で計測しようとすると、鉄骨などが影響する。
　　　事前に詳細なキャリブレーションが必要。

・光学式
最近の主流
非常に古い手法だが、昔は画像処理の時間が必要だった。最近はCPUの進化によりほぼリアルタイムでできるようになった。
マーカー式とマーカーレス式に分けられる。

＜マーカー式＞
センサを直接からだに貼るのではなく、マーカーに置き換える。
マーカーは反射するパッシブ型と発光するアクティブ型の２種類。
複数カメラによって、マーカーの三次元位置を特定する。
カメラの死角では計測不可(かがみこんだお腹など)
計測する人を囲むようにカメラを配置。赤外光カメラで観測するため、カメラで見える範囲が狭い。(カメラを増やして対応)

パッシブ型
小型かつワイヤレスであるため主流。
カメラでセンサ位置(マーカー)を計測。
マーカー毎の識別ができないため、人体モデルを用いた制約条件を適用する。
計測速度(30〜60fpsのカメラから、高速度カメラを使用して数百Hzまでできる)

参照
【Nintendo Labo VR Kit】
わかる > Joy-Con > 「モーションIRカメラが得意なこと」、「マーカーシールのスゴイところ」

アクティブ型
赤外線LEDなどで高速に自発光。
マーカー毎の識別可能。
計測速度100Hz程度
赤外線検出用のカメラを小型化して、計測対象を取り囲むように大量に設置してマーカーの隠れを防ぐ事もできる。
マーカーに電源が必要であったり構造が複雑なため、パッシブ型より取り扱いが面倒。

＜マーカーレス式＞
カメラからの観察画像のみで姿勢計測を行う。
画像処理によって得られる特徴量や、複数カメラから得られた画像を使った視体積交差法によって得られる3次元形状情報を利用。
自由度が高い。
計測環境への制約が大きい。
応答時間や計測精度における改善の余地がある。

光学式の特徴・問題点
・低コスト
・装着者が極めて動きやすい
・映画では光学式が一般的
・カメラで見える範囲が狭いのでカメラを多数取り囲むように配置
　→専用スタジオ＋手作業によるご対応修正
・マーカーがカメラから隠れる問題は深刻

モーションキャプチャのまとめ
各種方式が存在
長所、短所があるので用途・コストに応じて選択しよう
近年は光学式が主流
今後の発展
より自然な動作計測、より簡易な計測ができるようになる。(Kinectなど)

3.2.1(2)顔の表情と視線

表情は計測対象として重要
コミュニケーションに有益な情報が多数ある。
特に視線方向は表情＋人間の注目点＋インターフェース利用するため。より正確に視線を計測する方法が昔から研究されている。
・計測方法パフォーマンスキャプチャ
　小さめなマーカーを顔中に配置して光学式計測
　表情モデルとカメラで撮影した顔画像の特徴点マッチング
・眼球計測

強膜反射法　強膜(白目)と角膜(黒目)の反射率の違いを計測する
角膜反射法　眼球の回転中心と角膜の曲率中心との差
サーチコイル法　コイルを埋め込んだコンタクトレンズみたいな物を装着
EOG　角膜と網膜の電位差、顔に電極貼る(インターフェースとしては使いづらいが正確)

画像処理によって眼球姿勢を計測する。高速度カメラを用いることでサッカードなどの眼球特有の高速な動きの計測に対応もできる。

3.2.2生理的特性の規則

生理的特徴の計測

・従来の生理指標
心電図(ECG:Electrocardiogram)
精神性発汗(皮膚電流反射GSR:Galvanic Skin Reflex)
皮膚電気活動(EDA:Electrodermal Activity)
ホルモン分泌(ストレス)

心電図
心拍数、運動強度、心理状態も推定可能

筋電図(EMG:Elictromyogram)
運動の原因である筋肉の活動を計測する
運動が発生する前から計測可能、脳からの信号を外部から計測することができる。
筋肉への収縮指令を計測(光学式だと動いてから計測。筋電だと動き出す前に計測)

・表面筋電図
皮膚上に電極を発布し、筋肉全体の活動を計測する
(針電極を用いる場合は直接神経から伝わる運動単位ごとの信号を計測する)
2個の電極を用いて差動増幅する事で信号を得る
振幅が筋張力を反映する。

ホルモン分泌
尿中のカテコルアミンを採取し、アドレナリンやノルアドレナリンの分泌量を計測。ストレス強度を推定。
唾液のアミラーゼ活性がストレスに応じて増加するのを計測。

脳活動
脳の活動を計測できれば色々な情報がとれる
侵襲計測…どの分野がどう活動しているかがわかっているので、針電極で脳の活動を計測
非侵襲計測…頭に電極を貼付ける。刺さない。

・**脳波(EEG：Electroencephalogram) **※encepahlon :脳髄、脳の内部
脳の神経活動である電気信号を計測
古くから簡易に利用
頭蓋骨の影響大、筋電信号の影響大
空間分解能×　時間分解能◎　携帯性能◎　安全性◎

・脳磁図(MEG:Magnetoencephalography)
脳の電気活動によって生じる微小な磁場を計測
シールドルームが必要になる
空間分解能△(数cm)　時間分解能◎(ms単位)　携帯性能△　安全性◎

・fMRI(機能的核磁気共鳴画像法)(functional Magnetic Resonance Imaging)
医療用
脳活動に伴って血流量増大、酸素消費量が増加する→酸素化ヘモグロビンと脱酸素化ヘモグロビン濃度が変化し、BOLD信号(Blood Oxygenation Level Dependent Contrast)→磁気共鳴信号が変化する。
脳の活動部位を特定可能
強磁場の計測装置のため金属を近づけられない
空間分解能○(数mm)　時間分解能△(数十〜数百ミリ秒)　携帯性能×　安全性○
・PET(Positron Emission Tomography:ポジトロン断層)
** **※positron:陽電子、Tomography:断層写真術
医療用
血流の中に放射性同位元素でラベル付けされたトレーサーを投与
神経活動に伴う代謝量、血流量を計測
空間分解能△(数cm)　時間分解能×(数秒)　携帯性能×　安全性×
※インターフェースとして使うとなると、医療用は現実的でない。

・NIRS(Near-infrared spectoscopy:近赤外分光法)
脳活動の血流量変化を近赤外線の吸収率差で計測。
表面だけの計測だけれど、脳波より情報がずっと多くとれる。
VRの評価手法として有用。
fMRIと異なり脳深部の計測は不可能。
被験者の姿勢の自由度が高く、多少動いてもOK。
空間分解能△(数cm)　時間分解能△(数十ms)　携帯性能○　安全性◎

3.2.3心理的特性の計測

一番難しい。直接測る対象が存在しない。難しいが一番知りたいことでもある。
精神的な状態だけでなく何かをしようという、知覚や行動の想起などの想定も含めた心理状態が計測対象。
生理的計測では、身体の状態を計測しているだけなので、心理的な状態と相関関係を求める事が重要
従来は、心拍・呼吸・瞬き・脳波等を総合的に判断していた。

BMI(Brain-Machine Interface)
VRでは、脳活動から心理状態を推定するBMIがインターフェースとして有用である。
脳活動から何らかの意思、意図を推定し、身体を用いる事なく所定の機器を操作するシステム。「考えただけで操作できる」

・侵襲計測型BMI
脳の表面に電極を貼ったり、入れたりして活動を計測。
脳の部位と行動、感覚の関係は多くが解明されている。
運動出力部位の最終部位である一次運動野の活動から運動の方向、筋肉の活動が推定できる。
視覚野に電極を貼って、どんな映像を見ているのかを再現可能。
新しい映像を見た時の脳の活動状況から学習できる。

・非侵襲計測型BMI
運動に関連した信号が検出できるミュー派を利用してカーソルを動かす
練習をすると、特定の脳波を出せるので、それによってマウスカーソルを動かしたりできる。
感覚刺激に応じて発生するP300と呼ばれる神経活動も利用可能。どの視覚刺激が入力された時に活動が起こったかを調べる事で、対応するイベントを特定する技術。
侵襲型は、研究の段階では必要とされているが、VRの入力インターフェースとして世の中に一般に使われる物としては、非侵襲型でなければならないだろう。

3.3出力インターフェース

出力インターフェースの実現
・感覚モダリティごと。それぞれの感覚に会わせてディスプレイを用意
・VR世界の情報→人間の感覚器官に人工的刺激(もしくは神経に直接電気刺激)としてフィードバック
・感覚器官に入る刺激のうち、実世界からの刺激をいかに人工的刺激で置き換えられるか(占有率：人工刺激に置き換えた割合をいかにあげていくか)
・人体との距離：装着型と設置型の二種類の方法

3.3.1視覚ディスプレイ

空間への没入感を高めるもの
・空間の奥行き手がかり(立体視)
・周辺視野を含めた広い領域への映像提示
・写実的映像品質
・見えの変化(頭を動かすと見えるものが変わる)→大きい没入感への要因

立体視を行う要因
・両眼視差(左右の目での網膜像の違い)
・運動視差(頭部の運動に伴う見えの変化)
・輻輳作用(眼球の向き。同じ所を見たとき両眼が内側に向くように調節される)
・調節作用(ピント調節)
・(心理的な要因による奥行き知覚)
上記作用を利用した2眼式視覚ディスプレイと、体積走査型視覚ディスプレイ、没入型視覚ディスプレイがある。

＜2眼式視覚ディスプレイ＞
両眼視差による左右の眼での見えの違いをつかって立体視をつくる。
実現の方法

・時分割方式
スクリーンに映し出す左右の映像を交互に切り替え。120Hzくらい。
液晶シャッターメガネを利用
右目と左目で別の絵が見えているような感覚が得られる。
空間分解能は高いが、時間分解能は低い。(片目が半分のHzになるから)

・偏光方式
右目用左目用のプロジェクターを１台ずつ用意。
偏光フィルムメガネをつけることで、左右の映像を分離する。
偏光をかけた視差映像をシルバースクリーンあるいは偏光フィルタ付きディスプレイに投影する。
空間分解能、時間分解能ともに高い。
普通のスクリーンだと偏光がうまくいかないのでシルバースクリーンを使う。(値段高い)
映画館でつかわれる

・パララクスバリア方式
パララックスバリアと呼ばれるスリット(目隠し)によって、左目からは見えるけど、右目からは見えるとい方式。
メガネ無しの裸眼立体視。
モニターを分割するので、空間分解能は低い。時間分解能は高い
運動視差に合わせようとすると、頭とモニターの相対位置にあわせてバリアの位置を偏光して実現する。
スリットは透過型液晶パネル等で実現される。微細なレンズをスクリーン上に敷き詰めて左右の目に入る映像を分離する方法もある。

時分割方式、偏光方式、パララクスバリア参照
【Nintendo Labo VR Kit】
わかる > VR > 「アレはどうして立体に見える？」

・HMD(Head Mounted Display)
スクリーンを使うのではなく、HMDを利用。
両目の前に映像を映し出すモニタを配置する。
眼球とモニタの間に特殊な光学系を配置してモニタが数メートル先に見えるようにする。
位置姿勢センサーと併用。頭の位置、姿勢をとって、向いた方向のバーチャルな世界の映像て提示を行う。

・Head Mounted Projector
再帰性反射材が塗ってあるスクリーンを利用。
見る人の頭にプロジェクターをくっつける。
ハーフミラーをつかって眼球と共役な位置にピンホールの絞り付きプロジェクターを設置
プロジェクターの前に絞りがくっついているので、ピンホールカメラのようにどこでもピントが合う。(スクリーンが平面でなくてもよい。)
再帰性反射機能を備えたスクリーンや実物体で囲まれた場所であればどこを向いても対応する映像を見る事ができる。
絞りが着いているので、光量が少ない。再帰性反射材が塗っていない箇所に直接当たった光が見えないので、画像以外の情報を遮蔽できる。マイクを消したりできる。

＜体積走査型ディスプレイ＞
裸眼で二眼式ではない。
対応する場所が発光する事でバーチャルな物体を空間の中に点の集合で実現する。
→両眼、運動視差、輻輳、調節作用に対応できる
解像度をあげようとすると、高密度化し、データ量が爆発的に増加するため、解像度と映像の更新レートはトレードオフ。

・LEDアレイ走査型
LEDアレイが動き、物体があるところにさしかかるとLEDが光る。

・回転スクリーン式
スクリーンが回転して、物体があるところにさしかかるとプロジェクターから投影される。

・プラズマ発光方式
レーザー発光によって、特定の場所の空気中の酸素や窒素をプラズマ発光させる

＜没入型ディスプレイ＞
中心視野および周辺視野に映像提示することで、VR空間への高い没入感を生成する。
多面体スクリーンでできた部屋。人間の視野全てを映像空間で覆ってしまおう。
HMDは装着型。没入型ディスプレイは設置型。
特殊な光学系が不要。
技術的には難しくないが設備が高額。
レンダリングする際の視点とユーザーの視点が一致していないと、スクリーンとスクリーンの継ぎ目で、直線が不連続に折れ曲がる。
複数ユーザーへの映像提示に向く(厳密には誰か一人の頭の位置にあわせることになる。)
プロジェクタで映像表示を行う
　バックヤード空間が必要
　解像度が低くなりがち
　プロジェクタ間の空間的時間的整合性が必要

・多面体スクリーン
ユーザーの視点位置誤差があり、スクリーンの継ぎ目で直線が折れ線になってしまう。
例：CAVE CABIN COSMOS

・球面型スクリーン
不連続な折れ曲がりが防げる。
プロジェクタで映像を出す際に、テクスチャマッピングの技法をつかって、ひずみ補正の必要がある。

3.3.2聴覚ディスプレイ

バーチャルな音源からの空気振動を両耳に伝え三次元音空間を知覚できるようにする

＜立体角分割法＞
スピーカーを複数配置。音がやってくる方向のスピーカーを振動させる。

＜音像定位伝達関数合成法(両耳型)＞
両耳の位置でのみ正しい音を生成(視覚でいうとHMDに相当する)。
音源から両耳までの全ての物理現象を伝達関数として表現できる。
音源から両耳までの音の伝搬＝室伝達関数(RTF:room transfer function)＋頭部伝達関数(HRTF:head-related transfer function)
両耳それぞれの位置に届く音をヘッドホンやスピーカーで再現する。

・バイノーラル再生
ヘッドホンによる聴覚提示
ヘッドホンをつけて頭の中で音が鳴る感覚(頭内定位)ではなく、頭部伝達関数(HRTF)を使って外で音が鳴っている感覚(頭外定位)で聞ける
他人の頭部伝達関数(HRTF)をつかうと、変に聞こえたりするので個人差に対応する必要がある。
聴取者の頭部位置を位置センサによって計測し、伝達関数を切り替えると、前後の誤りや頭内定位を改善できる。

・トランスオーラル再生
ヘッドフォンではなく二つのスピーカーで再生する。
反対側の耳に音が入らないようにクロストーク(反対のスピーカの音)をキャンセルするフィルタをいれる処理をする。
他人の頭部伝達関数(HRTF)をつかうと、変に聞こえたりするので個人差に対応する必要がある。

＜音場直接合成法(空間型)＞
ある境界内の全ての場所で正しく音が聞こえる３次元音空間を生成。

キルヒホッフの積分公式
ある音場における音源を含まない任意の領域を囲む閉曲面境界上の音圧と空気の粒子速度を一致させる事で、同一の音場を再現できる。
部屋にたくさんスピーカーを配置して調整するが、本当に再現しようとするとスピーカーを無限に用意しないといけなくなる。
有限個数のスピーカーを境界の外に配置して、内側に音場をつくる近似方式(境界音場生成)で実現される
厳密性と実現性がトレードオフ
聴取者の移動がセンサー無しにできる
個人のHRTFに合わせる必要がない。

3.3.3前庭感覚ディスプレイ

身体移動、重力による加速度の感覚を身体を動かして提示する。
前庭感覚器は頭の中にあるから、身体を動かして提示する事になる。
一般的にはモーションライドのようなもの。

＜合成加速度の提示＞
狙った加速度を、過渡的成分＋定常的成分に分けて提示する。→モーションプラットフォーム
ウォッシュアウトとウォッシュバックが必要になる。

過渡的成分：アクチュエーターで提示。(椅子が動く等)
定常的成分：重力の分力成分によって提示。(シートを傾けて、傾いた重力を感じさせる)

ウォッシュアウト： アクチュエーターの動作限界を超えないようにアクチュエーターを徐々に減速する
例)椅子の加速の動き等を傾けた重力分力が増えるにつれて、減らす。

ウォッシュバック： 人の閾値以下の加速度で、アクチュエーターをホームポジションにゆっくり元にもどす

＜電気的刺激＞
前庭感覚器官がある耳の周りに電極を貼付け、左右の耳の間で微弱な電流を流す事でユーザーに知覚される重力の方向が電流に応じて陽極側へシフトして感じられる。

3.3.4味覚ディスプレイ

下に味物質を接触させて実現する。
任意の味を合成する仕組みと、受容器である舌に味物質を接触させる仕組みの両方が必要

任意の味を合成する仕組み
基本五味の味物質の組み合わせによる多様な味を生成する事ができる
味の深み等微妙な違いは実現できていない。

舌と味物質を接触させる仕組み
シリンジポンプによってストローを介して口内に味物質を滴下する
衛生面の配慮(使い捨て、消毒)が必要になる

3.3.5嗅覚ディスプレイ

色の三原色の用な基本的な匂いは未発見。
それぞれの匂いをつくらなければならない。
鼻の粘膜の嗅細胞に個別に用意した気化物質を接触させて実現する。

手順
1：目的の匂い物質(液体や固体)を個別に用意する
2：自然拡散、電熱線、超音波振動等で匂い物質を気化
3：空気中に噴霧して鼻付近に拡散→匂い物質の排気

HMD的提示→鼻の前まで延ばしたチューブを通して匂い物質の拡散、排気
没入ディスプレイ的提示→空気砲の原理で遠隔から匂いを含む空気の固まりを鼻に当てる。

3.3.6体性感覚ディスプレイ

バーチャルな物体に触った時の表面の感触や堅さ、重さなどを提示する。
→ハプティックインターフェース
身体全体に深部感覚＋皮膚感覚が分散しているので、手や脚など特定の部位であれば実現可能
機械的刺激の提示が必要になる

皮膚感覚提示装置： 表面の感触
力感覚提示装置： 硬さや重さ等バーチャル物体を押したり持ったりした時に相互作用として発生する反力を提示

＜皮膚感覚提示装置＞
皮膚と物体が接触した事による皮膚の変形や皮膚変形の時間変化を検出
感覚受容器は身体の部位ごとに異なる密度で分布しているため、分布ごとに皮膚感覚の空間分解能が異なる。
→各部位の2点弁別閾(空間分解能の目安指標)に基づいて刺激装置の密度を決定。

実現方法
腕や背中など比較的2点弁別閾が大きい場所
・携帯電話に入っている偏心おもり付きモーターや、ボイスコイルのアレイ振動子などで刺激する。

指先等の2点弁別閾が数mmの小さい場所
・ピンアレイのピンをピエゾ素子の振動で駆動する。
(ピエゾ素子http://ja.wikipedia.org/wiki/%E5%9C%A7%E9%9B%BB%E7%B4%A0%E5%AD%90)

・空気圧ノズルアレイ
皮膚の圧覚が応力の向きではなくひずみの大きさに比例する性質を利用してノズルの直径が小さければ圧迫でなく吸引でも圧覚提示が可能。
ノズルの直径によって刺激される感覚受容器を選択的に刺激できる。

・電極アレイ
皮膚に電気刺激を与える。
電極アレイに与える電圧の時空間系列パターンによって選択的に皮膚感覚受容器を刺激できる。

＜力覚提示装置＞
バーチャルの物体に触った時に物体から返って来る反力を提示
バーチャル物体と身体との接触部分に人間の動作に応じた力(反力)を作用させることで実現する。
指先等の皮膚と接触するため、厳密には皮膚感覚を含んだ深部感覚の提示となる。

設置型(地面あるいは人体の一部と力覚提示装置との間で相互作用)と非接地型(地面とは設置せずに力覚を提示する)に分かれる

設置型

・装着型ディスプレイ
外骨格型マニピュレーター等によって実現する。
VR物体に指先などの人体が触れた際に、触れた場所に力を発生させる。
物体を摘むような指と指同士でのインタラクションも実現できる。
位置入力→出力制御が主。位置がめりこむと、めりこまないようにする反対の力を与える。
(力センサは小型で性能がいいのが高いため)

・把持型ディスプレイ
把持した物(ペンや工具など)がVR物体と接触する。
例）ファルコン
多くても6自由度のマニピュレーターによって実現できる
低コスト。デスクトップで使うような用途であれば小型で性能の良いディスプレイ。
指と指のインタラクションはできない
位置入力→出力制御が主。位置がめりこむと、めりこまないようにする反対の力を与える。
(力センサは小型で性能がいいのが高いため)

・対象型ディスプレイ
指の腹や手のひらなどで直接接触できる。
VR物体をそのまま実世界に再現する。
面の提示が可能
複数人同時利用できる
脱着の必要がない
装置の実現が難しい(あらゆる方向に変形できる物は見つかっていない。)
力入力→位置出力制御が主
アクチュエータアレイによってゴム等でできた膜を変形させる方式
　平面から凹凸を表現できる

平面や円筒等曲面のプリミティブを組み合わせた立体をVR物体の上に沿って動く影のように人体の動きに追従させて曲面を表現する遭遇型
　人体とマニピュレーターの干渉が起こらないようにする
　プリミティブの切り替えを悟られないようにする必要

＜非接地型力覚提示装置＞
場所を選ばず力覚提示できる→ナビゲーションなどへ応用しやすい

・撃力：高速回転するローターをブレーキなどで急激に減速

・ジャイロモーメント：高速回転するローターを傾けた時に発生する
→非接地で大きな力を提示できるが装置が大型で重量がかさむ
　提示力の持続時間が短くウォッシュバックが必要になる

・疑似力覚提示：人の非線形な知覚特性を利用して、錘の往復運動の往路と復路の加速度を変化させて、擬似的に一方向の反力が提示されているように感じさせる。

3.3.7他の感覚との複合

人間は複数の感覚からの情報を統合して、外界を認識し、また外界へ働きかけている。
よって複数の感覚を組み合わせる事で、現実味が増す→多感覚インターフェース
例　　HMD+位置センサ：視覚＋体性感覚による見えの変化
　　　HMD+歩行感覚提示装置：視覚＋体性感覚＋前庭感覚
　　　食感提示装置：味覚＋体性感覚＋聴覚＋嗅覚

感覚数の増加→現実感の増加

感覚間の時間的、空間的ずれを少なくする事が大事だけど、許容範囲があるので、ズレは零でなくてもよい。→許容範囲をうまくつかって、VRを設計する。
例　視覚と聴覚：200ミリ秒以下
　　聴覚とハプティクス：120ミリ秒以下
　　視覚(HMD)とハプティクス：数センチ以下

※許容範囲内の複数感覚提示→相乗効果をもたらす
　許容範囲外の複数感覚提示→違和感につながる。ひどいとVR酔いの悪影響をもたらす。

3.3.8神経系への直接刺激

人工の神経系に直接人工的に作った電気信号を入れる事で、物理的刺激無しに全ての感覚を生起できる。
侵襲型電極と非侵襲型電極がある。
同じ刺激を与えても個人によって知覚される感覚に差が生じる可能性がある。
長期利用によって神経系が変質する可能性もある。

＜侵襲型電極による神経刺激＞

・人工内耳
実世界の音を外部のマイクで計測、電気信号に変換し、体内に埋め込んだ電極によって、周波数別に聴神経を刺激して音を認識させる。
音と電気刺激のマッピングを個人ごとに時間をかけてチューニングする必要がある。

＜非侵襲型電極による神経刺激＞
皮膚に電極を貼付けて、皮下の神経を刺激する。

・機能的電気刺激(遠心性神経刺激)
電気刺激により特定の筋肉を動かす事で歩行等の動作を生成する。

・電気刺激による皮膚感覚や前庭感覚の生成(求心性神経刺激)
電極の大きさと刺激の強度がトレードオフ
　ねらった神経だけを刺激するには電極を小さくしたいが、小さいと電力も小さい
複数の小電極を組み合わせて印加する電圧のパターン制御
　皮膚の厚さ、神経の場所も部位によって異なり、印加電圧やパターンを偏光する必要がある。
日によって皮膚の状態が変化→一定品質確保に難がある。

3.4入力と出力のループ

ユーザーが行動を起こしてから、感覚フィードバックがあるまでのループがリアルタイムでなければならない。
例)HMDをつけて頭を動かしたときに映像が瞬時に動かなければ不自然

リアルタイムの二つの意味
・更新周波数(アップデートレート)
ディスプレイが毎秒何回違った情報を提示できるのか
視覚ディスプレイ10Hzが最低値(ぎりぎりアニメーションとして認識できる)
ハプティックインターフェースは1000Hz以上(固いものを認識してもらうとき)
動作の計測→操作対象物のシミュレーション→力覚レンダリング→デバイスの駆動 を1/1000秒以下で行わなければならない

・遅延(ディレイ)
センサが行動入力を検出してからディスプレイが表示するまでの遅れがどのくらいか。
人間の反応時間(刺激を受けてから行動を起こすまでの時間)は0.2秒なのでそれ以内で再生できれば、リアルタイムに知覚できる。

第4章バーチャル世界の構成手法

4.1総論

4.1.1バーチャルリアリティのためのモデリング

バーチャル世界
計算機内に作られた体験者が体験する世界。
体験者の行動に応じて、映像、音等を感覚に提示する事で、実世界での体験と実質的に同等な体験をすることになる。

シミュレーション世界
計算機内に明示的に作られた世界
一般的にはある種の法則性を持った世界のモデルが作られる

情報科学におけるモデリング
モデリング：対象からモデルを作る事
モデリングのやり方：
・対象の中で興味がある要素を書き下す
　天体、質量、価値、受容、集積度、権力、意味、音階、画素、など

・要素間の関係をルールとして規定する。
　コンピュータで扱う場合、ルールは操作、演算、計算としてとらえられる

・要素を表す「もの」とそれが満たすルールがモデルとなる

バーチャル世界のモデリング
体験を目的とするため、体験者の感覚特性と体験内容を考慮して必要な情報をモデリングする。

・感覚特性による限定
人間が知覚可能な情報に絞る事ができる。
例)
物の色は波長ごとの反射率の違いによるが、人間の網膜は光のスペクトルを青、赤、緑、に対応する3種類の錐体細胞で捉えるため、三色の反射強度だけのモデルで済ませる事ができる。

・体験の目的、用途による限定

例)
都市計画評価のための景観の体験を目的としたVRシステム
→街を歩く人の反応は不要
礼儀作法の学習を目的としたVRシステム
→人の反応は必要だが、景観は不要

例)
ブロックをユーザーが押したら倒れるというシミュレーションの場合、
視覚は10Hz以上、触覚は1khz以上の人間の知覚に合わせて返してあげるのが大事。
シミュレーション世界は法則性が破綻しないようにモデルを作らなければならない。
目的に合わせて作って行く事で、絞って作ることができる。
積み木であれば、質量、跳ね返り係数は必要だが、匂いや手触りは切り捨てる事ができる。

バーチャル世界のモデリング方法のレベル

現実・実体→単純化・純粋化(実物・ミニチュア)→モデル化、概念化(狭義のシミュレーション)→定式化(数値計算)
モデルとは、物のある性質・側面・１つの見方を表現したもの。
物や現象が持つ情報の１部分だけの記述。
例：太陽と地球
明らかにしたいのがお互いの動きだった場合、抽象化することによって、モデリングをする。

ウォークスルーシステムの提示物体が持つ情報の例(都市計画など)
・匂い→必要ない
・物体の位置、向き：三次元ベクトルと三次元回転行列
・物体の速度：三次元ベクトル
・物体形状：ポリゴンモデル
・物体色：拡散反射率、鏡面反射率
・車や人の行動：スクリプト
人や車を再現する事ができ、どんどん細かくすることによって、リアリティを上げられるがトレードオフがある。

4.1.2レンダリング、シミュレーションとモデル

入力→シミュレーション→モデル→レンダリング→出力

レンダリング：ディスプレイや出力インターフェースなどでの提示に適した形式にモデルを変換する処理(力覚、聴覚でもレンダリングが必要。スピーカーからどのように音を出すかなど)

シミュレーション：時間経過やユーザーの動作・行動に応じてVR世界を変化させる処理。
この処理がリアルタイムに実施できるようにモデリングすることが必要。
例：過去の遺跡の体験など
大きさの計測、テクスチャのための写真撮影→モデル作成

例：力覚シミュレーションモデル
猫の触覚モデルなど。触力覚として、触った場所から返って来る。

例：博物館での物体の動くCGモデルなど。
既にあるものをわかりやすく表示するだけでなく、数式の上で理論がつくられたものをVRに戻してあげることもできる。理論→具象化

例：特殊相対性理論のVR化
速度が変わって自分の位置が変化した時にどのくらい、色が変化して見えるのかというのが体験する事ができる。

ネットワーク世界
例：セカンドライフ

例：遠隔から人がログインして、会話したり、共同作業もできるなど

テレプレゼンス・テレイグジスタンス
ネットワークを介して別のVR世界でなく、別の現実世界とつないだとき
例：雲仙普賢岳での無人の機械を安全な場所から操作

例：スターウォーズのように、本人がそこにいるように、周囲の人に見える。

物体形状のモデル
3DCGでポリゴンでモデリング
Kinect等を使用して、3Dのカメラをつかって、おおまかな人の形状をとることができる。
自分の身体を相手の近くに持って行ったりできる。

VRシステムの構成例

物理シミュレーションされた物体を力覚インターフェースを介して手で操作できる場合
映像提示のための形状や色のモデルはグラフィックスカード上のメモリに格納
↓
グラフィックスカードは体験者の視点からこのモデルを見た時の映像を高速に生成(視覚レンダリング)
↓
映像ディスプレイへ
力覚提示のための形状モデルはメインメモリ上に格納
↓
CPUが物理シミュレーションに提示力計算(力覚レンダリング)
↓
力覚インターフェースへ
↓
力覚インターフェースが計測したユーザーの手の位置は体験者の手のモデルの位置に反映

4.1.3処理量とデータ量のトレードオフ

＜レンダリングにおけるトレードオフ＞
１つの物体を映像提示する場合
①様々な視点からの静止画をモデルとして用意し、視点に対応する静止画を出力する
→レンダリング処理は簡単だがモデルのデータ量が大量になる。
→メモリが不足すると、画像数が不足し、提示可能な視点が少なくなりユーザーの視点移動が制限される。
例)1978年Aspen Moviemap(観光地紹介のためのウォークスルーシステム)では、レーザーディスクに画像を記録し、体験者の視点に合わせて提示。視点移動は限定された。

②物体の３次元形状と色をモデルとして用意し、ある視点から見た時の静止画を計算で求める3DCGをレンダリング処理する。
→モデルのデータ量は少ないが、レンダリング処理に多くの計算が必要になる。
→処理能力が不足すると提示映像の品質が劣化したり、視点更新が遅れる。

＜シミュレーションにおけるトレードオフ＞
体験者の行動の影響をバーチャル世界に反映させるシミュレーションの場合
①計算機の処理速度が不足していたとき
体験者の操作に体する反応はあらかじめ用意された動作がスクリプトやプログラムによって再生されるもの。
→体験者が取り得る行動のバリエーションが減る。
→体験者が取り得る行動のバリエーションを増やすために膨大な作り込みが必要になる。

②計算機が高速化して高度な処理が可能になってから
バーチャル世界の物体を剛体としてモデル化して運動をシミュレーション、柔軟物や流体のシミュレーションが行われる
→多様な反応を自動的に作り出せる。
　体験者はより自由に行動できる
　剛体運動のように運動の法則が解明されている現象ではリアリティを向上できる

→物理法則のシミュレーション処理に多大な計算が必要になる場合(変形や流体など)
　あらかじめ時間をかけてシミュレーションを行って用意したデータを取り出す

→人間の動作のように法則がわからない場合
様々な条件下の実際の人間の動作を記録したデータを用意し、インタラクションに応じて再生する。

以下　4.2 レンダリングまで講義内容

どこまで分解して細かくしたらいいのか。
空間全体を全て詳細に記述するとデータが膨大になり、描画スピードの低下等を招く。描画スピードのために、モデルを省略していくことが必要。
描画スピードとモデルの精細さのトレードオフ。

VRの要件
・ネットワークゲームよりは写真的リアリティが必要になり、放送、映画よりリアルタイム性が必要とされる。
モデルのデータ容量、レンダリングシミュレーションの処理量とリアリティの関係
より正確にシミュレーションしようとすると、データ容量が上がる。
データ容量があがればあがるほど、処理量は下がる。→行動が制限される(ex移動距離)
処理量があがると、リアリティは下がる。
物が落ちて崩れるなど、単純化すると処理量は上がるが、リアリティは下がる

VR技術におけるリアルタイムCG
・シンプルなモデルにテクスチャを貼る
・テクニック
例：飛行機
地上にあるときは精細なモデルが必要だが、遠くにあるときは大まかなモデルで良い。
距離に合わせて画像を荒くする。
表面だけは細かくして、中は分割を荒くする。
画像併用
奥行きに応じて必要な画像のを切り替える。背景は大まかな机上モデル＋テクスチャ

モデルベースと画像ベース
モデルベース木を表現する際に3Dモデルを作成する。

画像ベース：実際の木の写真を貼ってあげることで、リアル差をあげられる
画像ベース

Image-based Modeling
大まかなモデルの形状を作成→

Image Morphing→正確なモデルを作らなくても、モデルをしたのに相当するような体験者の自由度があがる。

Photo-pop-up
一枚の写真から電車が動いたり、道路をウォークスルーできたりする。

Movie-map
街をすべて3Dモデリングするのではなく、ストリートビューのように全部写真に撮って、つなげてウォークスルーできるよになる。

VirtualDome
カメラを視線にあわせて動かして、あたかも遠隔地に行けるようになる。

QuickTimeVR
見た方向の画像を切り出す。

実写ベースのVR
全天周の写真を組み合わせることによって、歩いて曲がることができる。

動画からインタラクティブに
自由に見回せながら、車も動くなど動画にできるもの。
光線空間により再現される自由視点映像
外界から入って来た光線を記録して、複数のカメラ画像から、恣意の角度に近い光線を拾って来て、新しい画像を作る事ができる。
光線空間を使うと
→手前の遮蔽物を除去する事ができる。

障害物領域を選択→後ろ側の映像が映っている情報を選択する。遮蔽物のない映像に加工できる。
→過去の写真から、写真の撮影位置を見つけることができる
過去と現在の行き来ができる。画像ベースで過去と現在の写真をつなげる。

4.2レンダリング

4.2.1レンダリングのためのモデル

レンダリング：モデルを提示情報に変換する処理

体験者がバーチャル世界で自由に行動し自由な位置姿勢から観察できるようにするために
→観察条件に依存しない形式でバーチャル世界をモデリングしておく
→観察条件に応じたレンダリングを行う
→観察に応じてその都度提示情報を生成する必要がある。

視覚レンダリング
視点が移動しても光源や物体は変化しないので、バーチャル世界のモデルとしては、光源や物体の位置・向き、物体の色(反射特性)を記録する。
バーチャル世界に視覚があったときに視覚が捉えるはずの網膜像を計算する。

聴覚レンダリング
音源から出た音が広がる際の反射や回折。体験者の耳で起こる反射や回折。両方の特性をモデリングしておき、体験者の位置と向きに応じた音を計算する。

力触覚レンダリング
物体の形状、表面の硬さや摩擦係数、質量などの動力学特性をモデリング。
バーチャル世界の物体に触れたり、物体を操作したりする際に手に働く力を計算する。

以下4.2.2.視覚レンダリングとモデルまで講義内容

コンピューターの処理能力は時代で決まる。できることは一定の中で、その中で何をやるか。
映像→キャラクターモーションを物理で作ろう＝処理量
　事前にモーションキャプチャを用意＝イメージベースレンダリング
データ容量を増やす→映画。データ容量を増やして映画みたいなVRのイメージ映像を作る事もできるが、体験すると行動が制限されるなど。
例：ストリートビューなど、一見きれいに見えるけど、写真を撮っていないところには行けない。
　：CGでできた世界をどこでも歩けるけど、映像がしょぼい
VRの世界をレンダリングとシミュレーションしやすいように作る必要がある。
モデルの例：頂点と三角形がどうつながっているかという三角形メッシュデータは、レンダリングがしやすいので、この方式が使われている。
プリミティブなモデル：当たり判定がしやすいので、球や円柱などが使われる。

4.2.2視覚レンダリングとモデル

(1)投影処理

3次元のモデルを2次元に提示する
ポリゴン１つを全部投影すればよい。
画面を作る平面をスクリーンと呼ぶ。ディスプレイの映像＝スクリーン
バーチャル３次元物体をスクリーンの二次元に動見えるかを計算する事を、投影処理と呼ぶ。

(2)隠面消去

他の物体の後ろに隠れる部分は書かない。三角形の奥行きの順番を考える。

・Zバッファ(隠面消去を実現する方法)
三角形を二次元にした時に、色を付けるのと一緒に、Z値情報を格納。奥行き情報がわかるので、描く時に、手前のものだけ描く。遠くのものは描かない。
Zバッファ情報がないと、奥行き関係なく表示される。Zバッファを入れると奥行きをもとに表示される

(3)輝度計算(シェーディング)

シェーディング計算とシャドウイング計算に分けられる。
色を出すための方法
形があって向きが違うと色が変わるはず。
角度と向きで明るさが変わる。
しないとのっぺりする。

4.2.3聴覚レンダリングとモデル

(1)3次元音空間の聴覚レンダリングモデル

音源位置の手がかり。
VRでも音はあらかじめつくっていて再生する事が多いが、キャラクターが発話したり、ものがぶつかったときの音等、音源の位置がわかるようにしたい。

①音場再現モデル
音場全体を実際の音場として再現。聴取者に自然に3次元音空間を知覚させようとするモデル。立体分割法、音場直接合成法。

②両耳伝達関数モデル
両耳に入力される音信号を正確に定めれば精密な3次元音空間知覚が可能になる。
音源から耳までの音響伝搬特性を伝達関数として表現し聴取される二つの信号を耳元に再現、合成するモデル。両耳型聴覚ディスプレイ。
音像定位伝達関数合成法。

(2)音響物理現象のレンダリングモデル

頭部近傍までの音波の伝搬現象を

RTF(室伝達関数:Room Transfer Function)
HRTF(頭部伝達関数:Head Related Transfer Function)

のように伝達関数で与える。

1)距離減衰と遅延

聴取点までの全ての距離についてあらかじめ用意するのでなく距離に応じた減衰と遅延を加える。

2)反射波

音像法：音源から放射された音線を追跡。聴取者近傍の領域をある時間範囲内に通過する音線を計算する
虚像法：鏡の向こうの位置に虚像を仮定し、そこからの直線伝搬をあらかじめ反射の次数を決めて計算する。

音線法は反射音の次数によらず計算量が一定であるが、ある時点、ある位置における反射音を求めることは難しい。
聴覚ディスプレイの反射波のレンダリングでは虚像法が用いられる。
反射の次数に対して指数関数的に計算量が増加する。
低周波の精度は低い。
小さな反射面に対しては拡散も考慮する。

3)後部残響音

室内における音波は反射や回折を繰り返し、反射波の密度が上昇し、方向性が弱まる。
→初期の反射音は丁寧に計算し、後半の反射音は後部残響音として、再帰型の信号処理によって、計算を抑える。
反射回数が多い後部残響は真面目に計算しなくても適当でOK

4)回折

物陰の音が遮蔽物をまわりこむなどの現象。人の気配等をレンダリングするために必要。
解析解を使って伝達関数を求め、物体の端線ごとに伝達関数を求める。
主に低周波数で起こる。
物体に当たった時に反射するだけでなく広がりも計算する。
http://ja.wikipedia.org/wiki/%E5%9B%9E%E6%8A%98

5)ドプラ効果

音源あるいは、聴取点が移動する場合にはドプラ効果のレンダリングが必要。
時変かつ周波数軸上の非線形現象で、通常の信号処理ではレンダリングできない。

直接法：移動速度に応じて周波数を直接シフトさせる。全ての音響現象のレンダリングが終わって出力が確定した後にドプラ効果をレンダリングするため汎用性が低い。
遅延線を用いる方法：バーチャルな音伝搬路を遅延線の形で設けて、相対速度に応じて遅延線上の読み込みポインタを移動させて、波面の到来時間を制御。ドプラ効果を表現する。
正確には音が伝播する経路ごとに周波数の変化が異なるから、全部計算しようとするとたいへん。メインの音だけ計算する

(3)聴覚ディスプレイの将来像

音響レンダリングはDSPチップなどでハードウェア的に行う事も可能だが、ソフトウェアによる実現も容易になった。
ミドルウェアとしてパッケージ化することで、低コストで技術の再利用化が促進される。
将来的にはLSIチップや計算機の中に線形物理現象のすべてを含んだ音場が合成される物も考えられ、実世界と同等なバーチャル音響空間となる。
http://ja.wikipedia.org/wiki/%E3%83%87%E3%82%B8%E3%82%BF%E3%83%AB%E3%82%B7%E3%82%B0%E3%83%8A%E3%83%AB%E3%83%97%E3%83%AD%E3%82%BB%E3%83%83%E3%82%B5
http://www.infonet.co.jp/ueyama/ip/glossary/lsi.html

4.2.4力触覚レンダリングとモデル

物に触った→形がわかるを提示するのが大事な役割
指で触って、めりこんじゃった分だけ計算、力を出力する

・力触覚情報の計算

以下を周期的に実行する
①指先や手先など接触点(力覚ポインタ)の位置と方向の検出
②力覚ポインタとバーチャル物体との接触検出
③反力計算および物体変形
④力およびトルクの提示
力覚の場合は特別速くやらなければならない
→遅いと力覚ポインタがめりこみすぎて、計算した力が大きくなり、想定の表面より跳ねて提示しまうから。

安定な接触には1kHz以上(グラフィックの30倍近く)が必要。
10kHz程度ではより精細な力触覚を提示できる。テクスチャ判別には5〜10kHzと言われている。
更新周期が1kHzを下回ると、本来より柔らかく感じたり、接触面が振動しているように感じる問題が生じる。
→力触覚では更新周期を保つのが非常に大事。

バーチャル物体を力触覚と合わせて描画する場合には、グラフィックスレンダリングの更新周期は30〜60Hzであるため、マルチスレッド方式とし、視覚描画スレッドと独立して、力触覚レンダリング用の高い更新周期のスレッドを動作させる必要がある。

(1)干渉計算とモデル

＜物体形状の提示方法＞

インピーダンス提示型
位置入力→力出力：侵入距離に応じて押し戻す力を操作者に返す
安価で単純な構成で実現可能であり、一般的。

アドミタンス提示型
力入力→位置出力：操作者が加える力に応じて位置を動かす
広範囲で大きな力を必要とする用途に用いられる。

＜Proxy(God Object)法＞

Proxy point
与えられた力覚ポインタ(位置が物体にめりこむこともある)から、物体の内部に侵入しないという拘束条件を満たしながら、手に近い場所に移動し続ける物体表面上のポインタ(Proxy point / God-object)を定義し、両者から侵入距離を算出する。

力覚ポインタ
力覚ポインタは計算量を削減するために質量や慣性モーメントを持たない点として表現される場合が多い。
接触対象のバーチャル物体
プリミティブで表現するのが簡単。
多面体の場合は、面の境界に各面の法線を補間して、力を提示して滑らかに感じさせる。
視覚レンダリングの輝度計算の応用。(多い)

(2)表面情報のレンダリング

＜摩擦力の提示＞
Proxy法にクーロン摩擦をシミュレートする。
http://ja.wikipedia.org/wiki/%E6%91%A9%E6%93%A6%E5%8A%9B

スティックスリップ

スティック
Proxyポイントは、力覚ポイントがFriction coneの静止摩擦係数の角度を超えるまで、その場を動かない(stick)。

スリップ
力覚ポイントがFriction coneの静止摩擦係数の角度を超えると、Proxyポイントが移動。(slip)。動き出したら、動摩擦係数の角度を超えた所で、Slip。静止摩擦係数の角度に達するとStop。
繰り返しによって振動が生じ、滑り感が生じる。

(3)現実感を高めるレンダリング

振動によって材質がわかる
叩いたときにも振動が生じる→振動を記録して材質感の提示。
皮膚の表面に振動がくるので、力覚というより触覚のレンダリング
侵入量に基づく計算では高速な計算処理が必要となるが、高周波の過度振動を衝突時に畳み込む手法だと、自然な衝突感が表現できる。

4.3シミュレーション

4.3.1シミュレーションのためのモデル

空間： 座標系を用意し、位置や向きを数値で表せるようにする必要性
接触の検出の効率をあげるために、空間を領域に分割する必要性

剛体： 変形しない物体。
位置・向き→3次元ベクトルと3次元回転行列
速度・角速度→3次元ベクトル
物体形状→ポリゴンモデルや球や円筒等の組み合わせ

変形： 剛体の持つ情報＋変形についての情報。
自由な変形を許すモデルには、より多くのメモリと計算資源が必要になる。

流体： 変形よりさらに自由に変形するため、メモリと計算資源もより多く必要。

人物： 筋力や関節可動域の制限を考慮した運動制御
動作生成や行動選択の人間の知能のモデリングも必要になる。

4.3.2空間のシミュレーション

VR空間でのインタラクションで最も重要なものは体験者の移動。
一人称視点を用いる場合
カメラの位置・姿勢を動かす方法はアプリケーションや入力デバイスに依存する。
ディスプレイ装置に応じた一般的なカメラモデルが採用され、インタラクションを実現するために入力に応じたカメラの位置・姿勢の制御が必要になる。

(1)座標・移動モデル

視点が動いているのをシミュレーションする
・フライスルー　前進+ロール、ピッチ、ヨー。飛行機に合わせたbounding volume
・ウォークスルー前進・後退＋左右回転。人間の形状に合わせたbounding volume
・6自由度直接入力の移動モデル(CADでモデルをいじるなど)
オイラー角は順番が重要
xを回してからyを回すのと、yを回してからxを回すのと姿勢が変わる。

(2)広い範囲の移動、時間遅れ、ハンドリング

移動範囲が広く、体験者に行動の制約を作らない場合
バーチャル世界をグリッドベースの空間に区切って、体験者が居る空間やその近傍の空間のみ、レンダリングや衝突判定を行う。
複数のバーチャル世界が組合わさっている場合は、体験者のいる世界のみ処理する。
遠いオブジェクトであっても視界に入ってレンダリングしなくてはならない場合

LOD(Level of Detail)やScene Graph と呼ばれる手法で、カメラの位置や姿勢の変更に対して、リアルタイム性を維持する。

・LOD(Level of Detail)
視点からの距離に応じてモデルの精細さを切り替える。

・Scene Graph
・物理シミュレーションを使わずにバーチャル物体を動かす時に便利
車のボディを動かしたら、他の親子関係の部品も全部ついてくる。
親子関係で相対位置を保存しておいて、親の車を動かすと全部ついてくるので便利。

4.3.3物体のシミュレーション

(1)剛体のシミュレーション

物理シミュレーションとは
物理法則にあわせて物体が動くとうれしいというシミュレーション
シミュレーションは微分方程式の数値解の計算
差分方程式にして、ちょっと先の時間を順番に求めて行く
ユーザーの力の介入などがあっても、対応ができるから。

剛体とは
剛体：硬いもの、変形しないもの
剛体でない物：スポンジ、粘度、水
剛体じゃないけど剛体として認識してよいもの：人や動物の身体など、本当は剛体じゃないけど、剛体だと思って計算すると運動が再現できる。

＜剛体のシミュレーション＞

物体の運動
物体に働く力とその作用点がわかれば、剛体の運動方程式を差分化した運動量、角運動量の更新式を計算する事で、物体の位置、姿勢、速度を更新できる。

簡単な計算で求まる力
重力、バネによる力、動摩擦力など場の力や物体の位置・速度によって決まる力

簡単に求まらない力
抗力、静止摩擦力など複数物体の位置関係を部分的に拘束する力(拘束力)
→拘束力を求める手法で剛体シミュレーションを分類できる。

蝶番：2物体の相対位置が一定
抗力：2物体が互いに侵入しない
静止摩擦力：物体が滑らない

剛体のシミュレーションの手順
条件を満たすような力を知る事を必要とする。
接触箇所を調べる→接触力を含む拘束力を計算する→位置、速度を更新する。

計算方法

1)ペナルティ法

物体間に働く抗力を求めるためには2物体の接触点の間にバネダンパモデルを考えて、バネダンパも出るが発生する力を抗力として加える。
拘束力を直接計算せずに、拘束条件に違反した侵入量に比例した力(ペナルティ)を計算して、物体に加える。そのうちペナルティが効いて侵入が止まる。侵入が大きすぎると跳ねちゃう。たくさんシミュレーションを繰り返さないと、侵入が止まらない。
運動方程式と無関係に拘束力が求まるので、力覚ポインタのような質量や慣性モーメントなどの動力学特性が不明なものと物体モデルの間に働く拘束力も計算できる。
高速更新が必要な力覚提示に向いている。

2)解析法

拘束条件を式にする。
条件から運動方程式を連立させて解く。
求めた拘束力を使ってシミュレーションする。
一回の計算は大きいけど、シミュレーションの刻み(デルタt)は大きくできる。
計算回数が少なくなるので、結果として計算量は少なくできることが多い。
ゲーム等でよく使われる。(物理エンジンオ計算量の制約が厳しい)
巨大な連立方程式を解く事になるため、計算時間短縮のため近似解法を用いる。
　→計算精度・安定性とのトレードオフ

3)接触検出

空間が分割されている場合→接触の可能性がないので、ペアを処理からはずす
↓
球や直方体など接触検出処理が容易な簡単な形状(bounding volume)で物体を包み、bounding volume同士が接触しているかどうかを検出する。
↓
接触の可能性がある物体のペアについて、物体形状同士の接触を検出する。
拘束条件や侵入量を求めるためには、接触の法線や、接触点の位置の情報も必要になる。

(2)変形のシミュレーション

連続体は時間だけでなく空間方向にもシミュレーションが必要で大変。
一個のものじゃなくて、一個の中を細かく分けてシミュレーションしないと行けない。

1)背景

変形(deformation)：外力により、物体表面や内部に移動＝変位(displacement)が生じる状態
物体は外力(applied force)が作用すると変形する。
変位が微小であるとき→弾性変形(作用する外力を取り去ると元に戻る)→
作用する外力を大きくする→変位が大きくなる→塑性変形(外力を取り去っても戻らない)→破壊

ひずみ：変位を物体の長さで除した単位長さあたりの変位

応力：外力によって物体内部に生じる力
ひずみが微小の時は応力とひずみには線形の関係がある。

2)変形モデル(Physics-based deformable model)

事前に各要素の位置や弾性パラメータを設定する

バネ質点モデル(mass-spring model)
質点がたくさんあり、質点と質点がバネでつながっていると思って近似してシミュレーション。バネに生じる弾性力から各質点の運動を解く。
→実装が簡潔。
各質点の位置や質量、各バネの弾性係数、質点とバネの接続関係を設定する

有限要素モデル(finite element model)
変形の式を要素ごとに積分する。連続体の微分方程式が、六面体、立方体が敷き詰められていて、頂点分だけに積分される。頂点分だけの運動方程式に離散させる。
→高精度の変形が可能だが実装が複雑。計算量が多い。

弾性パラメータの計測法
引張試験、超音波エラストグラフィ、MRE(Magnetic Reasonance Elastography)
侵襲性や空間分解能が異なる。

3)実時間性

忠実性と実時間性はトレードオフ。
リアルタイムシミュレーションは変形の量が小さいとうまくいく

(3)流体のシミュレーション

ゲームはよく波で近似しちゃう
煙、水面、炎

・ナビエ・ストークス方程式によって表される
流体の運動方程式

連続の式→出てくと減る、入ると増える。
シミュレーションすると各点の圧力と速度が求まる。
求めた速度によって水面の形状、煙の密度、炎の温度を動かす
シミュレーションを進める度に形が変わるので、形を計算するのも大変

粒子法

質量、速度を持つ粒子が移動する。質点で近似。
少量は得意だけど液体の表面がきれいにならない

格子法
格子が格子内の流体の質量、速度を持つ。流体は格子から格子に移動する。少量は苦手。薄まってしまう。

4.3.4人物のシミュレーション

わずかな点の動きでも、人の動きと認識できる→ちゃんと作らないとすぐ違うってばれちゃう

(1)人体物理モデル

シミュレーションで作るとすると剛体と関節の組み合わせで表現する。
関節は蝶番やボールジョイントで近似する。
必要に応じて髪の毛や肉の変形を行う。

球面関節：固定点周りの3自由度の回転が可能(股関節など)
回転関節：一定の軸周りの回転のみが可能な1自由度関節(膝・肘関節など)
肩関節も膝関節も回転中心は移動するが、忠実に表現すると力学シミュレーションが事実上不可能になるので、近似モデルを利用する。
研究レベルでは、筋骨格モデルを用いて筋の形状や張力を考慮した可視化・シミュレーションが考えられる。

(2)計算アルゴリズム

近似で出したモデルに対して

・逆運動学(IK)
手先の位置→関節の動きから関節角を求める。
関節の角度が決まると、剛体の位置が決まってレンダリングできる
手で物をつかむ動作など、手先位置を指定して動かしたい時に用いる。
解が１つとは限らないので、(θの変化を細小にする、本来の動きに近づける)など条件をつけて決定する。
逆運動学だけだとどんな大きい物でも持ち上げられてしまう。
光学式モーションキャプチャにおけるマーカ位置データから関節角データへの変換にも用いられる。

(3)運動生成

1)力学シミュレーションによる方法

力学的に正しい動きを作る事ができる。
各関節のトルクの制御を決めて上げる。
トルクの上限をつける。加減速に上限がある。
・関節制御
PID(Proportional-Integral-Derivative)制御
・バランス制御
重心が足の上から外れると倒れる。
物がぶつかるなどの外力が加わった時の動きが自動的に生成される。
重い物をもつと動きにくくなるなど。
有限状態機械(finite state machine)：歩行等の複雑な動きの場合に制御を身体の状態によって切り替える。

＜歩く場合＞

左足支持→両足支持→右足支持→両足支持
犬の走るシミュレーション
着地してるとき、飛んでるときと、制御を変える。

2)モーションキャプチャデータを利用する方法

シミュレーションでなくモーションキャプチャによる方法だとリアルなものができる。
モーションキャプチャデータを再生するだけなので転倒などの問題がない。
録っただけだと変更できないので、分岐をつくって、変更可能にしたりする。

データ加工の方法
・あるクリップから別のクリップへ滑らかに遷移する
・二つのクリップにおける関節角を関節ごとに補間する方法

モーショングラフ

始めと終わりに基準姿勢をとるクリップを複数容易しておき、それらを状況に応じた順序で再生することで、一連の動作を生成する。

複数のクリップからなる、モーションキャプチャデータに対して、似た姿勢が含まれる他のクリップのフレームに遷移することで、もとのモーションキャプチャに含まれていなかった新たな運動が生成できる。

3)キーフレームアニメーションによる方法