LoginSignup
86
86

More than 5 years have passed since last update.

@Somelu01

「バーチャルリアリティ学」第5〜8章　学習用ドキュメント

Last updated at Posted at 2016-09-07

バーチャルリアリティ学第5〜8章　学習用ドキュメント

「バーチャルリアリティ学」教科書

日本バーチャルリアリティ学会VR技術者認定試験詳細

VR技術者試験アプリケーションコースを受験する際に、個人で教科書と講義を聞いて勉強するために作成したものをまとめました。日本バーチャルリアリティ学会様とは無関係です。
教科書「バーチャルリアリティ学」のインデックスとして使ったり、教科書に載ってる用語について自分で調べたリンクなどを載せてありますので、教科書の補助的にお役に立てましたら幸いです。(Nintendo Labo VR Kit 「わかる」の参考になる項目も追記し始めました 2019/04)

VR技術者認定試験セオリーコース範囲の第1〜4章の学習用ドキュメント もあります。

何かありましたら@Somelu01までお知らせ下さい。ここ間違ってるよ、とかより詳しい情報などお教えいただけたら勉強できて嬉しいです！

勉強する際に、あるしおうねさん(@AmadeusSVX)、GOROmanさん(@GOROman)、キルロボさん(@kirurobo)、MIROさん(@MobileHackerz)にコメント、ツイートをいただき教えていただきました！ありがとうございます。

効率よく、楽しく勉強するための方法について、本にまとめました。よかったらどうぞ！

第5章　リアルとバーチャルの融合ー複合現実感

5.1 複合現実感

5.1.1概念

複合現実感(mixed reality)：VR環境と現実環境を融合する概念。実環境とVR環境が相互に関連をもつ世界を構成する。拡張現実(Augmented Reality)から拡張VR(Augmented Virtuality)まで含む。広義の人工現実感。

人工現実感(virtual reality)：ユーザ周囲の現実を遮断して計算機あるいはネットワークの閉じた世界を構成する。狭義の人工現実感。

複合現実感のスペクトル(virtuality continuum)

実環境→拡張現実(AR)→拡張VR(AV)→VR環境

拡張現実(AR)

現実環境にVR環境の情報を重畳して提示する概念。

現実環境におけるユーザーの情報活動を支援する。

実現に必要なこと

・VR環境の構築技術
・実環境とVR環境の融合技術
　空間的整合性の維持：レジストレーション(位置あわせ、位置計測)
　時間的整合性の維持：システム遅延の除去
・実世界情報提示技術：VR環境を重畳して表示するためのデバイス
・実環境の存在を考慮したインターフェース技術

拡張VR(AV)

現実の物や人や環境をリアルタイムでモデル化し、VR環境に統合することで、現実のものとのインタラクションを可能とする概念。(リアルタイムじゃない場合もある)

VR環境の現実感の向上や現実世界との連携のために必須

実現に必要な事
・実対象物をモデル化してVR環境に取り組む技術(実世界のモデリング技術)
・現実環境の変化をVR環境に反映する技術

5.1.2レジストレーション技術

(1)レジストレーションとは

視覚的に現実世界とVR世界を融合するために、現実とVRの3次元座標系を一致させる事。

絶対精度と推定結果のスムースさの両方が重要
推定結果のスムースさのためには、多点計測→最小二乗基準に基づき推定する方式やカルマンフィルタを用いる。

幾何学的レジストレーション(位置合わせ)
・視覚的に現実環境とVR環境を融合すること
・それぞれの環境で定義された3次元座標系を一致させる。
例：実際に教室を写真で撮ったときに、写真の中の一部のものをCGとして入れる→ARでやっているのは同じようなこと。
例えばペットボトルだけ描画して、他は現実を映す。

実際に現実を撮影して、カメラに出すのと同じような計算を、CGを描画するのに使う。
現実世界とVR世界の視覚的融合
・現実世界とVR世界を人間の網膜に同時に投影する。(グラスだったり、ディスプレイだったり、画面上で合成する場合も現実に重ねる場合もあるから網膜)

3次元情報が2次元情報となる投影変換

投影変換：内部カメラパラメータ
固定を前提に事前に取得(カメラキャリブレーション)
レンズの性質とか。例えばiPhoneとかだともう決まってるの前提に計算する。
Androidでどんなものが出るかわからない時は、わからないまま作成することもある。

ビューイング変換：ユーザーの視界になっているカメラの位置が動いた時に、3次元の空間や物を2次元の映像に変換する事らしい。　http://lab.sdm.keio.ac.jp/ogi/vr/step3.html

位置姿勢：外部カメラパラメータ

リアルタイムで変化するのを計測する必要がある。
　→トラッキング
　これをいかに求めるかが大事。

ジッター：時間軸方向での信号波形の揺らぎ自身や、その揺らぎによって生じる映像などの乱れのことを指す
https://ja.wikipedia.org/wiki/%E3%82%B8%E3%83%83%E3%82%BF%E3%83%BC

内部カメラパラメータ：カメラのズームなど(固定なことも多い)

-カメラ特性として焦点距離、中心位置、歪み等を記述した値
(@AmadeusSVX)

外部カメラパラメータ：カメラの位置や姿勢らしい(これを計測するのがトラッキング)

トラッキンングの種類

・アウトサイドイン方式
環境に設置したセンサを利用して、カメラの位置姿勢を計測する。

-環境に設置したセンサなどを基準位置として…
--注：以前はセンサだけだったのですが、HTC ViveのLighthouseシステムは環境：センサなしの照明、HMD：センサとなっているので、
センサと目印の関係が正反対になっています。しかし、環境に設置したものを基準位置として利用するのは他のアウトサイドイン方式と
変わらないため、Lighthouseもアウトサイドイン方式に含めるべきだと考えます（教科書には未掲載です）(@AmadeusSVX)

・インサイドアウト方式
撮像系(カメラ等)のセンサを利用する方法
→カメラ映像そのものをトラッキングに利用する場合→カメラ方式(スマホ)
→カメラ映像を使用しない場合→センサ方式

・ハイブリッド方式
環境に設置したセンサと撮像系(カメラ等)の両方のセンサを利用

(2)センサ方式トラッキング

ARシステムの撮像系のカメラを使用しない方式。

屋外：GPSの位置情報を利用(たぶんアウトサイドイン方式)、コンパス、慣性センサで姿勢情報
屋内：アウトサイドイン方式→光学式モーションキャプチャ。屋内に設置したカメラによって、撮像系(ユーザーについてるカメラ)のマーカーから位置姿勢を計測。

・インサイドアウト方式→磁気センサ、天井に設置した参照点を画像センサで検出。

・ハイブリッド方式→慣性センサから姿勢情報を計測してカメラ方式と合わせる。

センサの特性
・GPS(位置計測)
場所によって精度が異なる

・慣性センサ(姿勢計測)
加速度センサとか
傾斜角は精度がよい。(重力加速度で真下は計測しやすいから)
方位角は長時間使用において、ドリフト誤差が発生しやすい。(北がどっちかは、地磁気使ったりするので場所によっては計測しづらい)

計測精度は方式よりもセンサの性質に依存。

20年前はカメラだけで位置姿勢とれたら素晴らしいと言われていた。
スマートフォンで今カメラだけでやろうとしてたらアホだと言われる。
他に内臓センサがいっぱい入っているから、使った方が精度があがる。→ハイブリッド方式が主流。

(3)カメラ方式トラッキング

①3次元位置が既知の学習済み特徴と画像内の特徴を対応づける。(机の端とか角とか)

②特徴の対応関係から位置姿勢を推定する。

3次元の座標値と2次元の座標値の特徴点のペアを作る。
→一番難しい(4つあると確実。3つだと答えが複数出る。)
特徴の対応関係から位置姿勢を推定する。

-3次元の座標値と2次元の座標値の特徴点のペアを作る:これは「既に特徴点の三次元の座標値が求まっている場合」に行う
--最初にどの特徴点の三次元の座標値も求まっていない状態からトラッキングを開始するには、最低5点の二次元の座標値の変化から
三次元の座標値と、トラッキング結果を求める計算を行う（5点アルゴリズムと呼びます。7点使うものもある）＝トラッキング初期化(@AmadeusSVX)

①の画像内の特徴の対応付けの方式で次の(4)マーカ方式、(5)自然特徴方式に分かれる。

ARシステムの撮像系がカメラの場合にカメラ映像を用いて位置姿勢計測を行う方式。
計測結果を直接描画に利用できる。(これ以外の場合は計測結果を撮像系の座標系に変換する必要がある。)

利点
・付加的なセンサがいらないのでシステム構成が簡素になる。
・撮像系(ユーザーについてるカメラ)とセンサ系の同期ずれが発生しない
　1秒間に30回はからないとならない。カメラがシャッターを押した位置と姿勢とセンサでとるタイミング合わせるのはたいへん。
・画像合成に要求される方向による誤差の許容度が達成しやすい。
→画像合成の誤差の許容度は、カメラの視線方向＜直交方向。視線方向のずれは観察されにくい。カメラの映像は画像上でのずれを最小化する基準で計測する方式が採用されているので達成しやすい。

(4)マーカ方式※(3)-1

代表例：ARTOOLKit

正方形の4頂点の画像内での2次元座標値を検出することで位置姿勢を推定。(4つ特徴点があるので答えが正確。)

正方形は90°毎の回転で同一形状になるので、90°回転した時の曖昧さを解消するための情報が付加的に必要

→二次元コード、文字、パターンなどを正方形内部や周囲に描く。

マーカ方式の特徴

・マーカ形状
四角形、円形(円形は中心しか特徴がないので、複数マーカが必要)

・簡単な画像処理で抽出可能
処理が高速
単純なアルゴリズムだとマーカーの部分隠滅や照明の変化等に弱い

・複数マーカを用いることで隠蔽へ対応、精度の向上、使用範囲の拡大が可能

(5)自然特徴方式※(3)-2

環境にもともとある特徴を利用してトラッキングを行う

特徴抽出問題
環境中からどのように特徴を抽出するか

対応付け問題
抽出した特徴点を計算機内に持っている3次元情報とどのように対応づけるか。

上記の２つの問題に対してトップダウン方式とボトムアップ方式の手法がある。

トップダウン方式
予測を利用して限られた範囲で対応特徴を探索する。
(さっきこの辺だから、この辺にあるんじゃないと予測して範囲を絞ってから計算。)

手順
①トラッキング履歴等から現在の位置姿勢を予測する
②予測された位置姿勢情報に基づきモデル内の特徴を画像平面に投影する
③投影位置近傍で対応特徴候補を探索する
④位置姿勢計算を行う。

メリット：計算効率があがるので、高速処理が可能。誤対応を削減できる。
デメリット：急激な変化があると、予測が外れ特徴点の検出に失敗する。
　→線特徴を用いた方式によく利用される。

ボトムアップ方式
特徴点をとりあえず画像から全部とってから探す。単純だけど時間がかかる。
①画像から特徴を抽出する
②抽出された特徴をモデル内の特徴と照合する。
③誤照合を除去する
④位置姿勢計算を行う

メリット：事前の予測が出来なくても特徴を抽出できる
デメリット：計算に時間がかかる

各手順の詳細

①特徴抽出
特徴の画像内での回転や大きさ変化に対しても安定した抽出が行えることが重要
処理方法：SIFT(Scale-Invariant Feature Transform)、FAST(Features from Accelrated Segment Test)、SURF(Speeded Up Robust Features)

②モデルとの照合
高速な照合が重要(画像一枚とれて百個の特徴点があったとする。データベースには1万個の特徴点あると。まともに組み合わせると100×1万で大変なので、計算をはしょる方法がある。)
処理方法：ANN(Approximate Nearest Neighbor), KD-Tree(K-Dimensional Tree) Randomized Tree

③誤照合への対応
上記の方法だと誤照合が混入するので、誤照合に対応する必要がある。
処理方法：RANSAC(RANdome SAmple Consensus)誤照合を除去する
　　　　　M推定→誤照合を含んだままで高精度な位置姿勢推定(誤差が入って計測した時に平均をとろうという方法。とんでもない間違いはRANSACで除去)

②〜④位置姿勢推定とモデリングの同時実行

自然特徴方式では、環境のモデリング(事前に環境内の特徴の3次元座標値と画像特徴をデータベース化)をすることが必要

処理方法：SLAM(Simultaneous Localization And Mapping)、SLAMの応用であるPTAM(Parallel Tracking And Mapping)

カメラ画像から位置姿勢推定を行いつつ、環境のモデリングを同時並行的に行う方法。

ただし自動なので座標原点を、部屋の角にしたりとかはできないので、

原点は最初にカメラスタートした時になったりする。絶対的な大きさがわからない弱点はある。

レジストレーションの品質をどう測るのか

・位置合わせの絶対精度
・結果のスムースさ
　VR世界の表示がブルブルと震えない。
・多点計測を行い、最小二乗法で結果を推定(絶対精度も向上)
・カルマンフィルタを用いたノイズ除去

実際に使ってみないとわからない。

カメラを使った場合だと、位置姿勢が計測できない場合がある。(例えば真っ暗とか)

結果が出る時には精度が出るけど、安定しない場合もある。→ロバスト性も大事

5.1.3実世界情報提示技術

VR環境を現実環境に視覚的に重畳するには、光が網膜に到達するまでに合成する必要がある。(画面上でもハーフミラーでもいいけど網膜で見た時に合成して見えるということ。)

光学透過式(optical see-through)

方式：ハーフミラーなどでCGを重ね合わせる(プロジェクションマッピングみたいな直接投影も含む)
利点：現実世界の見えが自然

ビデオ透過式(video see-through)

方式：カメラで撮影した映像内でCG合成
利点：合成結果が均質でさまざまな画像処理の適用に向く

(1)ARにおける映像合成

合成する場所から目との距離で分類できる

HMD：目に近いディスプレイで合成
↓
ハンドヘルドディスプレイ：スマホのARなど手に持ったディスプレイで合成
↓
ハーフミラー据え置き型ディスプレイ：ユーザーと実物のあいだのディスプレイで合成
↓
プロジェクションマッピング：実物と同じ場所で合成

(２)HMDベースのシステム

利点： 環境に寄らず映像提示できる
屋外や多人数用途に向く
欠点： 装着が煩わしい
他の手法に比べて高精度のレジストレーションが困難。

Q.「他の手法に比べて高精度のレジストレーションが困難。」現在も？(@Somelu01 )
A.屋外も含めてあらゆる条件で、という意味では現在もですね。限定的な条件では、ご存知の通り解決されつつあります。(@AmadeusSVX)

現在の技術では、人間の視覚能力に匹敵するHMDの実現は困難なので用途にあったHMDを用いる。

・パイロットに地理情報提示
重要 ：広視野・高輝度
非重要：立体視

・手術支援
重要 ：高い角度分解能、立体視
非重要：広視野

・ナビゲーションなどの屋外利用
重要 ：軽量、装着感がよい。周辺視野を閉塞しない。
非重要：視野角、解像度

1)HMDの光学系

・網膜投影型ディスプレイ

弱レーザ光で網膜に直接映像提示

利点：水晶体の屈折力を用いないため、視距離によらず鮮明な映像を観察できる。屋外用途に適する。
欠点：射出瞳が小さい

・接眼光学系HMD

標準的なHMD。Oculusはこれ。

リレー光学系(relay optical system)：広視野化のために用いる。

偏心光学系(decentered optical system)：小型化のために用いる。自由曲面プリズム(free-form prism)など

反射屈折光学系(catadioptric system)：光透過型HMD用にハーフミラーと凹面鏡で構成

Q.リレーレンズ？　http://dictionary.goo.ne.jp/jn/233059/meaning/m0u/([@Somelu01](https://twitter.com/Somelu01))
A.「リレー」の名前の通り、ある光学系の性能をそのままに、光をリレーして光路長を稼ぐ光学系です。
http://www.lensya.co.jp/qanda/window2/salon271_2.htm
（本来は左端からフィールドレンズまでの光学系ですが、性能はそのままに右端にまで光が伸びています）
広視野角HMDでは、従来から「なるべく画像素子＝液晶を目の近くに配置する」事が要求されていましたが、実視界を確保する場合にはこの素子が邪魔になります。(@AmadeusSVX)
ここでリレー光学系を使えば、視界を邪魔せずに、あたかも液晶が目の近くに配置されているかのような状態が実現できます
Q.ありがとうございます！光をリレーして、邪魔にならないくらいに距離にあるディスプレイの映像を、目の近くに見えるように、届けるということでしょうか。(@Somelu01)
A.その通りで大丈夫だと思います(@AmadeusSVX)

・ホログラフィック光学素子によるHMD

ホログラフィック光学素子(HOE:Holographic Optical Element)を用いる。
エプソンのMobelioとか
透過度が高い光学透過式を実現可能
広い両眼視野を確保可能
射出瞳が小さい

-エプソンのMobelioとか：これは自由曲面によるハーフミラーで、HOEではないそうです。
-今だとMicrosoftのHoloLensとか、に変えるといいかもしれません(@AmadeusSVX)

・頭部搭載型プロジェクタ(Head Mounted Projective Display)

肉眼と光学共役な位置に配したプロジェクタの映像をハーフミラーを通して環境側に投影。環境に設置した再帰性反射スクリーンに反射させて肉眼に映像を見せる。

映像上の性質はプロジェクションベースに近い

利点：接眼光学系に起因する映像歪みが存在しない
欠点：特殊なスクリーンを要する

2)HMDの性質

視野角と解像度

・低解像度・広視野と高解像度・狭視野のトレードオフが存在

・光学透過式
広視野角化が困難。多くは水平視野角60°以下。
(反射屈折光学系を用いて両眼視野角180°に迫る方式もある。)

-近年、自由曲面ミラーの採用が活発になってきていて、Meta2（https://www.metavision.com/ ）等の広視野角HMDも登場してきています
-また、屈折光学系を用いない広視野角HMDが研究されるなど、複数のアプローチで高性能化が試みられています
注：これも教科書の時代から状況が変わっているため、どうしたものかという感じです(@AmadeusSVX)

・ビデオ透過型
広角カメラ広視野の閉塞型HMDを利用できる。

カメラの撮影画角と映像ユニット上の提示画角を一致させ、カメラと観察者の視点を共役な配置にすることが望ましい。

Q.「カメラと観察者の視点を共益な配置」とは？(@somelu01)
A.理想的には、カメラと目の位置が同じでないといけない、という意味ですね。例えばOVRVisionではカメラの位置は目の前に出てしまっています。(@AmadeusSVX)
Q.おお！ありがとうございます！そういえばGearVRのパススルーカメラも、自分の手が短くなってちょっと変な感じがしちゃいます！(@somelu01)
A.ですね。自分のtweetでも言及したことがあります。参考まで。
(@AmadeusSVX)



カメラと映像ユニットの解像度、色温度、ダイナミックレンジなどを適切に合致させることが望ましい。

遮蔽矛盾(AR用のHMD)

遮蔽は強力な奥行き手がかり(depth cue)であり、実物体とバーチャル物体の遮蔽関係に矛盾(occlusion inconsistency)が生じさせないようにしなければならない。

→CGを三次元空間に投影する時に奥行きに対応しないとならない。

・ビデオ透過式HMDの場合
実環境の距離情報を取得し、バーチャル物体の隠されるべき部分を遮蔽
映像入力が1チャンネルでも簡易な拡張現実システムには利用できる。

・光学透過型HMDの場合
ハーフミラーを通して実世界の光が常に透ける。
外光を遮蔽するための透過型LCDを追加して、画素単位での外光の透過・非透過を正義する。

システム遅延

ARはVRよりもシステム遅延の影響を受けやすい。
・光学透過型HMDでは、実環境とVR環境の位置ずれとなる。

対策
　予測フィルタ(Prediction filter)の利用。映像提示時の位置姿勢を予測し描画。
フレームレスレンダリング(frame-less rendering)

　映像更新範囲の限定(高速映像更新の際に遅延を低減する)
　イメージシフト(image shift)あらかじめ広範囲を描画しておき最新の頭部姿勢にあわせて、その一部を表示する。

--これはOculus社が呼ぶTimeWarpと本質的に同じアプローチです。(@AmadeusSVX)
こちらですね！Asynchronous Timewarp on Oculus Rift (@Somelu01)

・ビデオ透過型HMD
撮影画像を対応するCG映像と同時刻に提示することで、時間差を実質的にゼロにできる。
映像がシステム遅延分遅れるのでVR酔いの原因になる。

焦点深度

通常のHMDでは像面が同一の視距離に固定されている。提示距離にあわせて像面の視距離を変更できない。(近眼老眼だとピント合わせ機能ないからほんとかな？と疑問がある。)

-提示する画像の焦点位置が固定されている場合は、両画像の視差で発生する目の輻輳と、焦点の調節位置に矛盾が生じて
輻輳調節矛盾という状態になり、疲労の原因になると言われています。(@AmadeusSVX)

対策
　視線追跡装置とレンズシフト機構を内臓して実時間で視距離を変化させる
　可変焦点ミラーを用いて、多数の視距離に時分割で映像を提示する

Q.「可変焦点ミラー」とは？(@Somelu01)
A.これ：http://smaholo.com/
のミラー部分を1つだけにして＆高速に前後させて、手前～奥のCGを描いていく方法になります。
その他の解決法として、、レーザーを使う網膜照射方式の場合は、どこでもピントを合わせられるので、この問題がほぼ起きません。(@AmadeusSVX )
A.おおおお！とてもわかりやすいです！！ありがとうございます！！(@somelu01)

(3)プロジェクションベースのシステム

プロジェクタで実物体に直接映像を投影することで、実物体に関する情報を示したり、実物体の見えを変更したりする。
・提示したい情報が対象物体の表面に沿う場合(プロジェクションマッピングとか)

立体視と組み合わせる必要はない。
高い幾何学的整合性が実現可能
視点追従のための3次元センサも不要
多人数で見られる

・提示したい情報が対象物体の表面に沿っていない場合
　ステレオ投影と視線追従のための3次元センサが必要
　見られる人数は限られる

・空中に情報を提示したい場合
　ステレオ投影、視点トラッキングが必要

・投影面の形状を考慮しない場合
　提示情報に歪みが生じる
　→グラフィックスパイプライン上でリアルタイムに補正を行える。
　(ピンホール投影モデルで記述でき、投影レンズの主点から放射状に発生するラジアルディストーションもないという仮定を沖、幾何的補正や測光的補正を行う)

1)幾何的補正(geometric calibration)

実物体の正確な形状・観察者とプロジェクタの正確な位置の情報をもとにマルチパスレンダリング(複数回レンダリング)を行う。

・投影面が複雑な場合
投影テクスチャマッピングにより実現する

観察者に提示したい映像を描画
↓
その映像を観察者視点からの投影テクスチャマッピングで実世界と同じ3次元形状モデルに対して再描画
↓
投影
観察者の視点から幾何歪みのない映像が見られる。

・投影面が平坦な場合
ホモグラフィ(homography)と呼ばれる射影関係を求めて、テクスチャマッピングを用いないで単一パスで補正できる。

2)測光的補正(radiometric compensation)

実物体の物体色Mや環境光Eによらず目的の色調Rを再現するための投影色Iを求める。

実物体への入射角α、投影距離r　としてフォームファクタF=cos(α)/r2

R=EM+IFM

EM：環境光の有無を変えた場合の輝度差から求まる。

FM：プロジェクタ光の有無を変えた場合の輝度差から求まる。

I=(R-EM)/FM

上記で実際に投影する色Iを求める
↓
画素ごととRGBのチャネルごとに算出しておけばピクセルシェーダーを用いてリアルタイムで測光的補正を行うことが可能。

5.1.4実世界モデリング技術

拡張VRで重要になってくる。
現実世界の物をVRでつかいましょう。
わかりやすく言うとKinect。
実物体のモデル化の手順
レンジセンサを用いて表面形状データを取得→複数方向からの距離画像→位置合わせ、統合
カメラ→複数方向からの色画像→形状データにテクスチャマッピング
↓
最終的な3次元モデル

(1)形状データの取得

1)レンジセンサ

レンジセンサ

各画素にセンサからの奥行き情報を持つ2.5次元(最も手前の面までの情報)の距離画像を取得する。得られた距離画像の各画素に対して、3次元座標を復元し、隣あう頂点をつなぎ合わせることによって、部分的な表面形状データを得る。

レンジセンサの方式

・三角測量(ステレオ計測)

短距離の場合に使われる。受動型ステレオと能動型ステレオの２つがある。

①受動型ステレオ(実用は難しい)

対象物がもともと反射している自然光を受動的に用いる。
対象物体を異なる位置から撮影した2枚の画像を用いて対応点を得る。
各画像中の対象物体中の同一点が撮影された位置から、２つの視線の交点を求めて三角測量の原理で3次元座標値を求める。
自然光を用いるため2枚の画像の対応付けにおいて、光源環境や物体表面の模様に精度が依存する

②能動型ステレオ(こっちが多く使われている)

人為的に光を投影して対応点を得るため、高精度で密なデータが得られる。
カメラを光投影装置に置き換え、対象物に能動的に光を投影し、それをカメラで観測。

・光切断法

能動型ステレオの１つの方式
ラインレーザを対象物に投影。そのレーザの投影面とカメラの各画素の視線の交点から距離の座標値を求める。
1回の計測で1ライン分のデータを取得
ミラーで二次元的にラインレーザをスキャンする必要があり、計測に時間を要するが精度と密度は高い。

構造化光投影法(テキストでてないけど過去問に出て来る)
コード化されたパターンを対象物体に投影し、投影された面または線を識別して視線との交点から距離を求める方式

・光速を利用する方法

飛行時間法(Time of Flight 法)

パルスレーザーを使用。

Q.Kinectでやってるやつでしょうか。(@Somelu01 )
A.位相差方式はKinect v2などが代表例になります。(@AmadeusSVX )

パルスレーザーを投影して、レーザー(光)が対象物体から反射して戻ってくるまでの時間を計測することで、距離を計測する。
分解能は低い。
コアセンサは1点までの距離を計測するものであることが多いから、ミラー等を使ってスキャン機構で距離画像を取得する必要がある。
大規模な建造物を計測する際に有用

位相差方式(飛行時間法の１つ)

強度変調をかけて位相差によって距離を計測する方式もある。

通常の飛行時間法より分解能が高い。

変調波長内と波長外の距離を判別できないという曖昧性があるが、より低周波な成分を検出すればよい。(低周波のが波長が長いから？)
限られた空間を計測する際に有効

Q.強度変調が、y＝sinθとy=2sinθとみたいに周波が変化するのを出すことなのかな？(@Somelu01 )
A.複数の波長を含めた（多重化といいます）強度変調のお話かもしれません。ただ、この曖昧性は市販のセンサでも未だ発生する厄介な問題です(@AmadeusSVX )
Q.http://www.tdk.co.jp/techmag/knowledge/201102u/
位相差方式こちらがわかりやすかったです！Kinect v2のヒントがあったので見つかりました！(@Somelu01 )
A.良い資料ですね。図にある「照射光」と「反射光」が、波の半分以上ずれてしまうと前後のどちら側にずれたのか分からなくなる、というのがこの曖昧性の問題になります。(@AmadeusSVX )

2)モデル化処理

レンジセンサはセンサから見える可視領域しか計測できないため、物体全体の形状を得るためには異なる位置、方向から計測を行い、複数の部分の形状データをつなぎ会わせる必要がある。→位置合わせ処理と統合処理

①位置合わせ

各部分の形状データは計測位置、姿勢によって異なる座標系で記述されているため、座標系を統一する必要がある。

２つの部分データの相対位置姿勢を推定する手法は以下がある。

・ICP法(Iterative Closest Point)

最も広く知られる手法

2つの部分データに含まれる頂点間で最近傍点を探して、対応する頂点間の距離が最小となる相対位置姿勢を求める。

・視線方向や法線方向に対応点を探す手法

・点と点の距離ではなく、点と面の距離を探す手法

順番に多数のデータを位置合わせすると誤差の蓄積が起こるので、全ての部分データ間の誤差を同時に最小化する。

「初期位置の設定によっては解が発散する」間違いと試験ではなっているが、実際に発散することもあるらしい。

②統合

位置合わせされた部分データを統合して１つのメッシュデータを生成する。

Zipper法

２つの部分データ間で重なり領域を取り除いた後に境界部分をつなぎ合わせることによって、１つの形状データを得る。

利点：シンプル
欠点：境界部分で不規則なパッチが生成されてしまう

ボリューメトリックな手法

空間をボクセルで均等に区切る。ボクセルの中心から物体表面の各点までの距離を測って、＋−の符号がついた座標で表現する。物体表面の内側なら負、外側なら正。表面がゼロ。

正則なメッシュ構造※が得られる。

マーチングキューブ法等を用いて、零等値面に三角パッチを貼ると一元化されたメッシュデータを得ることができる。

※「正則なメッシュ構造」は全ての頂点が同数の辺をもつメッシュの意味らしい。
http://vig.is.env.kitakyu-u.ac.jp/Japanese/research/regular.html

Q.「マーチングキューブ法」はわからないけど、ポリゴンの間にできちゃった穴を埋める方法らしい。(@somelu01)
A.正確には、「ボクセル」と言う立方体の集合による立体表現を、CGとして出力できるようにポリゴン化する手法になります。でも、実はマーチングキューブでも条件によっては穴ができることが知られています。(@AmadeusSVX )
Q.ありがとうございます！穴を埋めることに限定されてないのですね！穴を直すの大変なのですね…。そういえば、Structure Sensorでスキャンしたのも穴たくさん空いていました。(@Somelu01)

2)色彩データのマッピング

形と色と同じカメラの場合はあまり問題にならないけど、別のカメラの場合には工夫がいる。

カラー画像の各画素と形状データの位置関係を求める必要がある。
6点以上の対応点を指定することで、計算可能。
自動的に求める方法もある。

→カメラ内部パラメーラを既知として、外部パラメータを推定する。
カラー画像の画素値には物体表面の真の色情報以外に光源情報も含まれているので、その除去も実際は必要となる。

エッジ情報を用いた2D-3Dの位置合わせ

二次元画像と距離画像の対応点が未知の場合は、形状データとカラー画像のエッジを用いて、カメラとレンジセンサの対応関係を推定できる。

2次元画像中のエッジと3次元エッジ中の最近傍点を求めて、対応点間の距離の総和が最小となるように、相対位置姿勢を求める。

5.2 ウェアラブルコンピュータ

5.2.1概念

ウェアラブルコンピュータ

服のように常時身に付けて使用できる計算機
ウェアラブルコンピュータを利用した情報技術の総称。

ウェアラブルコンピュータの特徴
Tronto大学のSteve Mann

・恒常性(constancy)
常に身近に動作しており、いつでも利用できる状態にあり、いつでもユーザとのインタフェースがとられていること。(電源オンしなくてもいつも使える)

・増幅性(augmentation)
ユーザの作業を支援するものであり、ウェアラブルコンピュータが人の能力の拡張するための利用を目的とすること。

・介在性(mediation)
プライバシーの保護や情報フィルタとしての役割など、ユーザと外界とのインタフェースとして機能すること。

ユーザーの現実環境での活動との親和性が重要
小型ゲーム機械はウェアラブルではない。現実世界とのやりとりをするためのものじゃないから。単に小型ってわけではない。

ウェアラブルの研究課題

負担なく長時間装着可能なハードウェア
日常的な生活状態で利用できるインタフェース
恒常的に接していることを利用したユーザの動作や感情の推定
コンテキスト依存(context aware)の情報提示
プライバシーや社会的親和性への配慮

5.2.2情報提示技術

特徴
・情報提示が日常生活の状態を妨げない。
・ユーザと恒常的に接している。

情報提示手法
・装着者自身に対する情報提示→(1)
・装着者の周囲に対する情報提示→(2)
(特に周囲に対する情報提示を衣服の形で実現する場合はこれまでにないヒューマンインタフェース技術として注目される)

(1)ユーザに負担なく、適切な情報提示を行う技術

視覚　HMD(単眼が主流)
・小型単眼ディスプレイ(遮蔽型)
・光学透過型(ハーフミラー方式 Googleグラスなど。、瞳分割方式)
・網膜投影型
　(目に入れても安全な明るさの光を網膜に当てて、高速に動かすことによる残像効果)

聴覚 ヘッドフォン
骨伝導スピーカー(耳を覆う必要がない)

臨場感のある聴覚情報を提示するためには、
頭部伝達関数を利用して3次元聴覚情報提示する。
→人の誘導や方位情報を利用したポインティング操作の実現などウェアラブルコン　ピュータの特性を生かした情報提示技術として有効

触覚身につけるコンピュータの特性を活かして身体の知覚特性を利用して、
複雑なハードウェアを必要としないインタフェースを可能にする。

・触覚の仮現運動特性を利用
→背中に触覚振動子をマトリクス上に配置。
各振動子に振動を与えて触覚による方向提示。

嗅覚香りの空間的な拡散を提示できる嗅覚ディスプレイが提案されている。
　インクジェットのヘッド装置を利用。
　匂いに寄る誘導や情報通知

(2)ユーザを取りまく環境側に情報提示を行う技術

視覚情報ディスプレイとして、衣服面を利用する方法
・薄型ディスプレイを使用する情報提示
有機ELディスプレイなど薄型ディスプレイの開発により、衣服に馴染みやすいディスプレイが実現。
・新規布素材を利用した情報提示

プラスチック光ファイバ(POF)

POF使った織物をLED光源と組み合わせて、ディスプレイにする。POFの大きく屈曲すると光が外に漏れだす性質を利用する。
ビットマップ表示に対応したフレキシブルスクリーン(2002年フランステレコム)

LEDのスペーサーファブリック
布を2層構造にして、布間に空間を確保することで光の拡散効率の向上を測った合成繊維

LEDのマトリクスディスプレイを光源にしたフレキシブルディスプレイLumalive(Philips社)

(3)衣服内配線技術

機能ごとに分散されて服内に配置されるシステムをつなげる配線方法が必要。
洗濯とか折り曲げに対応しなければならない。
選択耐久性が高い導電性糸や導電性インクを使った配線方法の実現が必要。

＜織り配線＞
導電性糸をフラットケーブルのように直線で並列に織る。糸同士がショートしないようにコーティングして使用する。

＜縫製/刺繍加工＞
導電性糸を縫製または刺繍で使用して、電子回路を作成する。
金属糸：固いため縫製が困難な場合がある。
金属コーティングの導電性糸：加工しやすいが選択で電気抵抗が高くなる。

＜プリント＞
導電性インクをシルクスクリーン加工もしくは布用のデジタルプリンタで印刷して回路を作成する。

利点
　大量生産にすぐれる
欠点
　導電性の高いインクを大量に使用するが、まだ最適な素材がない。
　抵抗を下げる場合や回路によってはインクの厚盛りが必要
　曲げや牽引によって割れ目が入る

＜導電性布＞
導電性素材をコーティングした布と非導通用布を重ねて配線パターンを作成する。衣服内の必要な部位にあわせてパターンをカットして縫い付け、またはベルクロで貼付け。

5.2.3入力インターフェース技術

(1)テキスト入力

現在はスマートフォンで十分という考えもある。

①-1 QWERTY配列を用いた手法
①-2 携帯情報端末やウェアラブルコンピュータに特化したキー配列を用いた手法
② ジェスチャに基づくテキスト入力手法
③ 文字認識や音声認識によるテキスト入力手法　

①-1 QWERTY配列を用いた手法

利点
多くの人が既に慣れ親しんでいるので、習熟初期の心理的負担が低い

欠点
ハードキーボード、ソフトキーボード(ディスプレイに表示等)も小型化に対策が必要。

→ハーフにする場合
　各キーの役割切り換えに習熟を要する
→各キーを小さくする場合
　隣接キーの押し間違いに対する誤り補償機能が必要。
　誤りを含んだ入力に対応した仮名漢字変換や入力単語予測技術が研究されている。

装着・携帯の方法

・ハードキーボード
腕や胴体に固定
ハンドヘルド(把持状態と把持してない時の切り換えの円滑さが問題)

・ソフトキーボード
タッチパネル式ハンドヘルドディスプレイ、HMD、ウぇアラブルプロジェクタ

・HMDやプロジェクタの場合
ハンドヘルド型や装着型のポインティングデバイスによる間接的な手法
ウェアラブルカメラによって手の形状やジェスチャを認識して入力する手法

①-2 携帯情報端末やウェアラブルコンピュータに特化したキー配列を用いた手法

・携帯電話での12個のダイヤルキーを用いた入力方式
利点： 習熟初期の心理的負荷が低い
欠点： 押下回数が多くなる

・フリック入力
縦長のハンドヘルドディスプレイを用いた片手入力に非常に適した手法の１つ
・Twiddler
　片手コード(chord)キーボード
　ギターのコードを押さえる動きに近い。習熟すればQWERTYキーボードと遜色ない速度。

② ジェスチャに基づくテキスト入力手法

ソフトキーボードを用いる手法
ウェアラブルカメラで手話を認識する
カメラを用いずに各指に振動を検出するセンサで打鍵の動作や振動を検出する方法が研究開発されている

③ 文字認識や音声認識によるテキスト入力手法

カメラ映像OCRや読み上げ音声認識
ジェスチャの認識と組み合わせて、紙に文字を手書きする様子をスキャンして即座にHMDやプロジェクタに表示するのも可能。

(2)ノンバーバル情報入力

だいたいジェスチャのこと。
明示的にユーザから発せられる、自身で制御可能なもの。→この中のジェスチャ入力について

非明示的、無意識的な、自身で制御が困難なもの。→5.2.4 コンテキスト認識技術

①ウェアラブルカメラを用いた手の画像認識

②ウェアラブルプロジェクタカメラ(ProCam)システムを用いた認識

③頭部や手首等に装着した慣性センサを用いた動作認識

②ProCamと①の違いは、アクティブライティングをするかどうか。ProCamの方が投影光を含む映像を撮影するから、距離を得るための情報が映像に付加されるため、精度が高い。

研究開発事例
・投影された近赤外光の反射強度に基づく手などの近接物体の切り出し
・小型ビデオプロジェクタからのパターン投影光やユーザへの提示画像に含まれる画像特徴などを用いたアクティブステレオ法による距離情報獲得
・近赤外光の照射光と反射光の位相差からTOF(Time of Flight)法(5.1.4 飛行時間法)で各画素の距離を求める距離画像センサの実用化、小型化。

Procamの装着位置

頭だけでなく、肩や胸部も優れている。
安定性と視界の広さ、作業領域を考慮する。

③は頭部の回転やうなずきなどの頭部ジェスチャを入力として用いるための研究もされている。

5.2.4コンテキスト認識技術

便利だけどおせっかいすぎると不便。
空気を読む方法

ライフロギング、情報推薦、作業者の行動のトレーサビリティ確保に欠かせない。

5.2.3のように明示的入力をする場合にも、コンテキスト(それがなされた際の文脈)によって選択肢を絞ることが必要。

(1)位置と向き

実世界のコンテキスト把握のために、有効な情報でかつ取得のための技術シーズが揃っている。

位置を計測・認識するための技術

①GPS(Global Positioning Service)などの複数の軌道衛星を用いる手法

②超音波、電波(RF、UWB、Wi-Fi)、光通信などのユビキタスセンサインフラを用いる手法(LPS:Local Positioning System)

③ARマーカや自然特徴点などを用いた画像の幾何学的位置合わせや認識手法

④加速度、角速度、地磁気、気圧などを計測する自蔵センサ群を用いた歩行者デッドレコニング(PDR:Pedestrian Dead Reckoning)手法

※自蔵センサ群(self-contained sensor 加速時計やジャイロの慣性センサ、磁気センサ、気圧センサなど装置内部に組み込まれインフラや外部装置に依存しないセンサ)

⑤上記の各手法やマップマッチングを利用した統合手法

①GPS(Global Positioning Service)などの複数の軌道衛星を用いる手法

利点
・広大な屋外空間をカバーしている
・インフラ整備や運用コストを利用者側は考えなくて良い。

問題点
・高層建築物、木陰、屋内など空が遮蔽された場所では使えない。
　→遮蔽への対策

衛生と同じ信号をスードライト(疑似衛星)と呼ばれる装置を局所的に設置して提供することにより、利用者が和の装置を変更せずに測位可能な範囲を拡大する
・伝達遅延やマルチパスなど精度への影響が大きい。

DGPSやRTK-GPS、それらとインターネットの組み合わせなどより高精度なシステムも提案されている。

②超音波、電波(RF、UWB、Wi-Fi)、光通信などのユビキタスセンサインフラを用いる手法(LPS:Local Positioning System)

送信機と受信機のセットでシステムを構築し、三辺測量の原理や、ID検知に基づいて測量が実現される。

利点

問題点
・測位サービスを提供しようとする場所に多くの装置を設置し、運用コストを継続的にかけていく必要がある。(GPSは30個の衛星で地球規模測位可能)
・利用者側の装置の業界標準が決まっていない。

UWB：比較的マルチパスにも強い

Wi-Fiを用いる手法：LPSのの中で最も実用化が進んでいる。PlaceEngineはWi-Fi基地局情報を収集し利用する方法。

③ARマーカや自然特徴点などを用いた画像の幾何学的位置合わせや認識手法

手法の種類

・カメラとマーカとのペアによってID、位置、向きを求めるもの

・データベースに蓄積された撮影位置・方位の既知な画像群と入力画像を比較して位置と向きを求めるもの

・SLAM(Simultaneous Localizetion And Mapping)技術などによって、周囲の作業環境の3次元構造を復元しながらカメラの3次元運動を求めるもの

利点
Googleストリートビューのように、撮影位置と方位が既知の画像群がウェブから入手しやすくなってきている
入力画像に利用者の手の動きや会った人などが含まれ、位置や向き以外のコンテキスト認識のための情報源になる。

④加速度、角速度、地磁気、気圧などを計測する自蔵センサ群を用いた歩行者デッドレコニング(PDR:Pedestrian Dead Reckoning)手法

センサを足先に装着する場合と腰部に装着する場合がある。

重力方向、角速度、地磁気情報をカルマンフィルタなどで組み合わせて、ジャイロのドリフト、磁場のひずみや外乱要因などの各センサの欠点を補償しながら向きの情報についても逐次更新する。

＊参照
【Nintendo Labo VR Kit】
わかる > Joy-Con > 「ジャイロセンサーと加速度センサー」

・足先の場合
利点：加速度、角速度の積算と歩行時に足が着地した際のゼロ速度更新(ZUPT:Zero-velocity UPdaTes)により、多様な歩行動作に対しても別々にモデルを持たずに計測できる。
欠点：センサの装着性、センサの耐久性、メンテナンス性の課題

・腰部装着の場合
加速度・角速度の時系列パターンを認識し歩行速度を推定し積算することで位置を逐次更新する。
利点：装着性、メンテナンス性が良い
欠点：歩行動作の差や個人差を吸収できるように歩行モデルを構築、または個別に歩行モデルを獲得する必要がある。

⑤上記の各手法やマップマッチングを利用した統合手法

③、④は測位だけでなく向き、動作種別もとれるため、コンテキスト認識に非常に有効。行動認識にも適用可能なセンサが用いられる。

累積誤差を取り除くために①〜③と④を組み合わせた統合手法。

利点
デッドレコニングによってインフラへの依存度が減る→LPSの装置の設置密度を低く抑えられる。画像ベースの登録データ数を削減できる。
設定ルートを拘束条件とするルートマッチングや利用者の存在確立分布に基づくマップマッチングとの併用で精度を向上できる。

(2)行動認識

センシングにより得られる基本的コンテキストの情報の例

姿勢から何をしているのか推定とか。

観測・推定可能でコンテキスト認識に有用な情報

①ウェアラブルシステムの操作履歴、閲覧履歴、メール履歴、スケジューラの内容
　ウェブ履歴を用いたデータマイニングやユーザモデリング技術
　視線認識と組み合わせて、コンテンツを見たかどうかの判断もできる。

②手の動き(ハンドヘルドデバイスの動き、手作業種別)、視線
　画像処理、アイトラッカーで得られる。

③動作種別(歩く、走る、座る、寝る、乗り物に乗る、作業するなど)
　SVM、AdaBoostなどの機械学習手法が広く適用されている。

④心理的状態、生理的状態
センサをどのように装着するかが課題。
利用事例：
発汗をトリガとしたウェアラブルカメラの映像に対するインデキシング
脈拍や血中酸素飽和度に基づく注目箇所の絞り込み

⑤周囲の人物、物体、環境
　顔画像認識、一般物体認識

HMM、ベイジアンネットワークなどのグラフィカルモデルを用いて①〜⑤を組み合わせてより複雑なシミュレーションも可能。

5.3 ユビキタスコンピューティング

5.3.1概念

今で言うIOTみたいなもの。
類似概念はほとんど同じ意味
インフラ整備をしようという人が言い出した概念

ユビキタス(ubiquitous)：偏在する、至る所に存在する

ユビキタスコンピューティング(ubiquitous computing)

現実世界のあらゆる物や環境に計算機やネットワークによる情報処理の機能を与えることで、いたるところで情報的支援を受けられるようにすること。

Xerox PARC(Palo Alto Research Center)のMark Weiser提唱

→タブ(tab)、パッド(pad)、ボード(board)など、計算機としての形をもたないスケールのデバイスの実装や、ユーザの位置計測技術の開発と、連携したシステムの試作が行われた。

類義語

・パーべイシブコンピューティング(pervasive computing)
　pervasive：行き渡る、全面的に広がる
時間、場所、情報機器、接続携帯に関わらず必要な情報やサービスにアクセスできる情報システム

・ディスアピアリングコンピュティング(disappearing computing)
　disappearing：見えない
計算機やネットワークが実世界の物や環境と融合。自然な形で支援。

5.3.2ユビキタス環境構築技術

Bluetoothとか
Zigbee

(1)ユビキタスインフラ

1)ハードウェア

無線PAN(Personal Area Network)
身の回りのあらゆる場所やモノの状況をセンシングし、伝達する近距離無線通信技術

センサネットワーク
無線PANと、実空間をセンシングする機能を付加して、強調して情報を収集するシステム

IEEE802.15ワーキンググループで技術の標準化が行われている。

代表的な規格

・Bluetooth
最高通信速度：1Mbps
最大通信距離：約10m
省電力性と動作効率性、接続できるネットワークのスケーラビリティに問題

・ZigBee
最高通信速度：250kbps
最大通信距離：10〜75m
通信速度が250kbpsと低速だが、電池駆動で数ヶ月から数年動作できる
１つのネットワークに対して最大65535個のノードを接続可能。
スター型、メッシュ型、ツリー型のネットワーク構造がサポートされている。

・UWB
最高通信速度：100Mbps以上
最大通信距離：約10m
他の無線機で使用されている周波数帯であっても、干渉を起こさない程度に送信電力を抑えて、広い帯域を使って通信を行うことで高速通信できる。
センサネットワークにおけるマルチメディアコンテンツの配信の実現が見込まれる。

2)ソフトウェア(センサネットワーク)

空間にばらまかれた複数のセンサノードを効率良く運用し、通信を行うプロトコルが必要。

・電源管理
動作時間の管理(データ通信時以外は休止させる)
TDMA(Time Division Multiple Access)：動作タイミングを順番に管理

CSMA/CA(Carrer Sense Mutiple Access with Collision Avoidance)：早い者勝ち管理
消費電力の均等化：階層化したときの上位ノードを動的に変更
適切な電波強度

・ノードの移動
通信経路の制御
リアクティブ型：通信開始時に経路探索
プロアクティブ型：定期的に経路情報を交換し経路決定

・位置情報の把握
位置情報が既知のノードをランドマークとして利用
Centroid測定：受信した複数のランドマークの位置情報の重心を自身の位置情報とする
DV-Hop測定：ランドマークからの位置情報を受信する前に経由したノード数を基に各ランドマークから1回の通信における平均距離を求める。

(2)インターフェース

1)可視光通信インタフェース

可視光通信技術

可視光(波長380nm〜780nm)を人間には知覚できないように変調し、通信する方式
ユビキタスコンピューティング環境下における新しいインタフェース技術

LED照明と親和性が高い。(応答性能に優れる、電気的な制御が容易)

特徴
・ライトがついていて情報の在処が目で確認できる。
・電子機器に影響を与えないので、医療機器などの精密機器に優しい。
・あらゆる照明が固有の情報を発信できる。
・応用例：公共交通機関でのナビゲーション、商品情報の配信、交通整理、生活空間でのアプリ

2)可視光通信システム

LEDを目では知覚できない速さで高速点滅させることで、0/1のデジタル情報を伝える。
サブキャリア信号の増幅変調、周波数変調、位相変調、パルス変調で、0/1を表現
人の目には常に一定の輝度に見えるように点滅を工夫
外乱となる光源の点灯周波数を避け、受光機器の周波数フィルタ信号を分離

DLPプロジェクタによる可視光通信

DLPプロジェクタ
各画素に対応するマイクロミラーの向きを高速(kHzオーダー)変化させ、映像を投影
画素単位に情報を埋め込み可能
細かくミラーを動かして投影している。
サブリミナル効果のように、センサで捉えられる情報をいれるとかもできる。
受信側の素子は、フォトダイオードやフォトトランジスタ
CMOSイメージセンサも利用可能。

DLPとCMOSセンサで映像通信が可能。

質疑応答
Q.HMDの国際比較は？
A.HMDの現状は予測が難しい。Hololenzは30万円だから産業用っぽいけどデモはゲームだからどうなるかわかんない。
Googleグラスはカメラを嫌がる人が多かった。MagicLeapはモバイルじゃなさそうな感じ。
Appleはメタイオを買収。
情報が少ないけど、路線はOculusのように安いコンシューマー版でというのと、高価な産業用の２つ方向がある。

第6章　テレイグジスタンスと臨場感コミュニケーション

6.1 テレイグジスタンス

現在私たちはネットワーク上に存在する世界中の情報を、自分のコンピュータ内の情報であるかのように自在に利用している。
VRは3次元情報や空間情報も自在に活用する未知を開きつつある。
さらにロボット技術を利用することで、実空間や実物も遠くは慣れた所からでも自在に活用することが出来る。
テレイグジスタンスはその究極の技術と位置づけられる。

6.1.1テレイグジスタンスとは

テレイグジスタンスと臨場感通信。
ロボット技術と通信技術が合わさった時にどうなるか。
テレイグジスタンスは遠隔地にロボットを通じて行く。
臨場感コミュニケーションは
離れた場所でみんなで会議する等。
テレイグジスタンス
離れた場所で、存在する感覚を実現するにはどうしたらいいのか。

telephone1876→videophone

(1)テレオペレーション

原子炉に置ける遠隔操作を可能にするためにできた。ワイヤで遠隔操作。
体験した人によるといまだにこれを超えるテレオペレーション装置はないと言われている。

研究の始まり

・機械式マニピュレータ
アメリカのアルゴンヌ国立研究所(ANL)
マスター・スレーブ・マニピュレーション(master-slave manipulation)
目的： 放射性物質を離れた所から安全に取り扱うこと
特徴： 鉛の壁を挟んで同じ構造のアームとハンドからなる2本のマニピュレーターを配置。
人間の操縦する側　マスター(master)
作業をする側　スレーブ(slave)
手先の、前後、左右、上下の三方向の並進運動
手首のピッチ、ヨー、ロールの三つの回転運動

バイラテラル(bilateral：双方向性)
マスター→スレーブに運動指令が伝わる
スレーブ→マスターに力の感覚が伝わる

・電動式マニピュレータ
機械式マニピュレータを利用していると、マスターとスレーブを遠くへ離せないため考案された。
ANLのE3型
遠く離れた所から操作できるようになった
バイラテラル(双方向)ではなくなった。
↓
電動式でもスレーブからマスターに力の感覚を伝えて双方向にしようとした。

対称型(symmetry type)
マスターについているポジションセンサが指令位置を検出→スレーブに位置指令

・スレーブが対象物を把持していない時
指令位置とスレーブの位置の誤差がゼロになるようにモータが制御されて、スレーブとマスターの位置姿勢が同一になる。

・スレーブが対象物を把持している時
把持物体の大きさまでしか、スレーブ型のハンドは動かないため、マスター側に位置の誤差が伝わる。人間側に誤差の分の指令値を減らすように、反力のように伝わる。
マスターで感じられる力が外力そのものではなく、マスター・マニピュレーターの動特性(ダイナミクス)とスレーブ・マニピュレーターの動特性に外力が加わったものが人間に加わる。
スレーブ側、マスター側両方の慣性と粘性に外力が加わる。
→操作が重くなる。力センサを使用しなくても良いという利点もある。

力逆走型(force reflecting type)

スレーブ・マニピュレーターに力センサを配置して外力を検出。
検出した外力を人間に返してフィードバック。
スレーブ側の慣性や粘性が消えて、マスター側の慣性と粘性だけに外力が加わる。

力帰還型(force feedback type)

マスター側にもスレーブ側にも力センサを取り付ける。
人間側がスレーブに対して位置指令→両者の位置センサを使って誤差がゼロになるように位置を制御
力はスレーブが参照元となって、マスターの力を制御
位置はマスターが参照元でマスターの位置に合うようにスレーブを制御
力センサを両方に置いて、力フィードバック方式により、バイラテラル(双方向性)を実現できる。実施は、増幅率を最大にすると、不安定になり発振する。

メカニカルインピーダンス制御方式(mechanical impedance control)

システムの慣性、粘性、弾性などの動特性を自由に設定できるため、テレオペレーションに有効。

(2)外骨格型人力増幅器(exoskeleton human amplifier)

1960年
人間が危険な環境下に直接身を置くけれども、ちょうど甲羅か鎧のようなもので自分を覆って、安全を確保
かつそれを用いて、自分の力を増強する装着型ロボット

メイズ計画(Mecahnical Aid for the Individual Soldier)

ハーディマン(Hardyman)
原子炉に人が入って作業するために作られた。米国とGEが研究。
680kgのものを1.8m持ち上げながら1秒間時速2.7kmで歩く目標
→失敗に終わった

利点
人間が実際にその場で見ているので、目と手の強調がスムーズに行える。
人間が自然な３次元認識を行えるため、その場の状況をつかみやすく、人間の大局的判断能力を発揮できる。
欠点
シールドが壊れると危険
誤作動が危険
機械が動くと人間も終止一緒に動かなくてはいけなくて過酷

巨大ロボット化
→人間が行っている仕事の代替ができなくなる。物語の世界で進化した。
介護・農作業。工場作業用
→安全な環境下で自動運転の必要がなく、大出力の必要のない分野で活用される

パワーアシスト
いまだとHAL(筑波大学)

(3)管理制御

1970年代
マサチューセッツ工科大学(MIT)　Thomas.B.Sheridan発案
人間がコンピュータを介してロボットのスーパーバイザー(管理者)として任務を遂行するというアイデア
ロボットの監視、動作のプランニング、自律機能でうまくいかないところの手助けを人間が行う。
その他のことはロボットにまかせる。
利点： 時間遅れがある場合に有効

ソ連の宇宙計画ルナホート(Lunahod)で月面無人探索システムに利用
時間遅れが0.1s以内は指令に対してフィードバックで補正を加えるクローズドループで制御可能

時間遅れが1s以上は指令だけをしてフィードバックをとらないオープンループで制御しなければならない。

(4)テレイグジスタンス

１〜3が組合わさったのがテレイグジスタンスの概念。

日本初。舘先生。
極限作業ロボット
1980年代

日本の提案者：舘暲「テレイグジスタンス」
アメリカの提案者：Marvin Minsky「テレプレゼンス」

実際にはロボットを遠隔で制御しているのだが、エグゾスケルトンのようにロボットの中に入り込んで、自分がその場にいるかのような感覚でロボットを制御すること。遠隔臨場制御。バーチャルなエグゾスケルトン型人力増幅機。
利点
人間が現場にいて大局的な判断が活用できる。
目と手の協調作業がしやすい(エグゾスケルトンのメリット)
人間は安全なコクピット内にいる。(テレオペレーションのメリット)
ロボットが破壊されても人間には被害が及ばない

スーパーバイザリ・コントローラ
ロボットのスペースにコンピュータやセンサを取り付けられる。
協同作業のスケジューリング、作業の分担を指定できる
人間が介入の必要を判断した時は、ループに割り込んで、ロボットを制御できる。

(5)テレイグジスタンスとバーチャルリアリティ

人間への臨場感提示と人間の行動をVRに反映する仕組み。
人間の状態を推定して、コンピューターないし実環境に伝える仕組み
テレイグジスタンスはVRの三要素と一致する

①人間にとって自然な3次元空間を構成＝等身大の空間性

②人間がそのなかで自由に行動でき、環境との相互作用がある＝実時間インタラクション

③環境への自己投射性が生じる＝自己投射性

・人が遠隔地に実際に存在しているかのような高度の臨場感を持って作業やコミュニケーションを行うための技術
・人間を従来の時間と空間ないし、両者を隔てた環境に実効的に存在することを可能にする。＝ロボットを利用して人間をユビキタスにする。

ユビキタスubiquitous＝Being or seeming to be everywhere at the same time

・VRとテレイグジスタンスはエイリアス(別名)と言える
バーチャルリアリティ
→人間の今いる場所を別の環境に変える

テレイグジスタンス
→今いる環境以外の別の環境に自分が行く

6.1.2標準型テレイグジスタンス

標準型テレイグジスタンスのシステム構成法

(Ⅰ)
遠隔のロボットの存在する場所の周りに閉曲面を作る
↓
入り込む波面を閉曲面上の多数個の点で記録する
↓
遠隔のオペレータのいる場所まで伝送
↓
オペレータの周囲に作った同様の閉曲面上の再生装置から波面の再構成を行う

上記が実現が困難な理由

①記録・再生の装置が実物大の環境再構成をねらうと非常に大きなものになる。ホログラフィーでは実時間の情報の記録再生が現在の技術ではできない。
②人間の近くの物体の記録、再生を３次元かつ実物大で実時間インタラクティブに行うことが技術的に困難である。
ロボットの手が見えるはずの所にオペレータの手が見えなくてはならないが、表示したロボットの手が自分の手と干渉する。

(Ⅱ)
ロボット技術と人間の感覚構造をもとにしたテレイグジスタンスの構成方法
(Ⅰ)の方法では、全波面を同時に再現しようとしているが、人が知覚できる波面だけ同時に再現すれば良い。

人の動きに合わせて、ロボットの頭部が動き、ロボットの視覚入力装置に映った２枚の画像を人間の側に伝達し、遅れなく映せば良い。→①の問題が解消する

オペレータが自分の手を目の前に操れば、ロボットの手も目の前に同じ位置関係で現れる→②の問題も解消する。

6.1.3拡張型テレイグジスタンス

VR世界を介した実世界へのテレイグジスタンスとバーチャル世界を重畳した実世界へのテレイグジスタンス
ミクロの世界での操縦(マイクロサージェリー等)
巨人化世界の提示(ドローンの利用等)
感覚の拡張(非可視光の可視化等。)
時間の拡張(クリティカルな時間を感覚的に引き延ばす)

[大きさを拡張する：ミクロ世界、マクロ世界]

小さなサイズへの拡張
形状の小さなマイクロ・ロボットを構成しそれを利用して人間とテレイグジスタンスの方法で結ぶと、あたかも自分が小さくなったような感覚をもって作業が出来る。

マイクロ世界をそのまま拡大しても作業が必ず遂行しやすいとは言えないため、相似則などを考慮して、メカニカルインピーダンスなどを作業しやすいように調整する必要がある。

応用例
マイクロサージェリィ
ロボット遠隔手術
*da Vinchi *
もう実用されている。慶応大学では標準的に行われている。
立体視できている。輪ゴムを両手でつまんで結びつける作業がテレイグジストでできる。
触覚提示はされていない。視覚提示はできる。
触覚提示はフィードバックで発信しちゃうから手術に危ないのでやらない。
・視界の拡大・操縦者の震えをカットする→機械を挟むことで名医の自分を作ることが出来る。これでないと手術はしないというお医者さんもいるくらい。
実際は患者さんのすぐ隣でやるが、遠隔手術。
工業関係でもナノ技術など、将来製造の検査や修理、保守などに利用されることも考えられる。

大きなサイズへの拡張
自分が巨人になったような感覚をもって大型なものを扱う作業現場などで利用される可能性がある。

[異型、一対多、多対一]

異型
人間型のロボットではなく異型の形状のロボットにテレイグジスタンスする。
・マスターシステムをロボットの形状に合わせる。
利点：利用しやすい
欠点：それぞれのロボットに合わせたマスターが必要で多数のロボットを利用する際には不適。
・マスターシステムをロボットの形状に合わせない。(ユニバーサルにする)
利点：汎用性に富む
欠点：ソフトウェアの工夫が必要
(異型でなくても同型で相似の場合や、部位の寸法が異なるだけの対応はソフトウェアで可能)

一対多
１人のオペレータが複数のロボットを利用
・管理制御をしてそのうち1台を順番にテレイグジスタンスで利用
・複数のロボットを同時に制御
→①ブロードキャスト
　１人のアクションが世界中のロボットに一斉に伝えられる
　②役割分担
　多くのロボットが役割分担して１つのロボットの機能を果たす

多対一
１つの複雑なロボットを多数のオペレータで協調しながら制御するモード
複雑な作業も臨場的かつ協調的に遂行可能

[感覚を拡張する]

視覚
赤外線
人間の視覚は可視光(380〜780nm)しか認識できない
赤外線をロボットのセンサで捉えて、外界のモデルと重ね合わせて提示して、認知可能にする。→暗闇でも明るい環境と同じように作業できる。

X線
X線は危険だが人間はX線に対するセンサを持っていないので、ロボットにセンサをつけて捉えて人間に提示する。→危険な状況を避けて作業できる。

聴覚
超音波を利用して得た情報を人間に聞こえる波長の音に変えて、臨場的に提示する。

情報の重畳
現実世界にコンピュータ情報を3次元的に付加
・地図や等高線
・建物名
・作業手順をコンピュータシミュレーションのスーパーインポーズで示す
・壁の中の見えない配管を可視化

[時間の拡張]

地球と火星など通信に時間がかかる場合
人間の大局的判断や感覚運動の制御の力を発揮するために、通信時間の差を克服する必要がある。
↓
バーチャル環境を持ち込む
地球に火星のバーチャル環境(モデル)を作る
↓
バーチャル環境に対して人間が指示し、バーチャル環境が人間の行動に応じてインタラクションを起こして変化する。人間の操作に対して、反力が瞬時にかかる。
↓
結果をロボットに伝送する。
火星のモデルが正確であれば、実際に火星上でロボットは制御される。
↓
不都合が起きたときにロボットが自立的に判定して止める
↓
不都合が起こったかどうか人間にしばらくしてから伝わる。
↓
どの時点で起きたかバーチャル環境で巻き戻して、作業し直す。

6.1.4相互テレイグジスタンス

(1)臨場感と存在感

さっきまでは自分が遠隔地にいく。
自分が相手を感じられるだけでなく遠隔地の人から見ても、自分が認識されるような双方向のテレイグジスタンス。
「臨場感」に加えて「存在感」が必要。

臨場感
・その場に(私が)臨んでいるという感覚をもつこと。私自身の発見。
　その装置を使っている人が感じる感覚
ex 大画面が一人称視点になった瞬間に臨場感が生じる。(アバターの映画の迫力のあるシーンは一人称視点)
遠隔地にいる人がそのばにいるように感じる。

存在感
・対象の存在を感じる周りにいる人がその対象に対して感じる感覚
　遠隔地にいる人を周りの人が目の前にいるように感じる。
例：TV会議
システムの使用者は、ある程度他の人とその場にいるような臨場感を感じられる。
最初は全員がディスプレイの人に注目する→存在感が生まれる。しばらくすると実際に参加者だけで盛り上がり、誰もディスプレイの人を見ていない→存在感が希薄になる。
ディスプレイに映っている人の存在感が足りないことが問題となる。

存在感が生じる要因

周りの人がその存在によって、危険を感じたり、怖かったり、楽しかったり、何かためになったり、インタラクションが起きて影響を受ける可能性を感じると、それが存在感を引き起こす。
怖いものや危険を及ぼす可能性が高いもの程存在感がある。

存在感の創出
多視点対応の立体感
匂い
そのものと直接インタラクションが起こる可能性(特に危険が感知できる仕組み)
触覚は存在感の創出に貢献する可能性が高い

(2)相互テレイグジスタンス(mutual telexistence)

臨場感と存在感を兼ね備えた次世代のテレイグジスタンス
テレイグジスタンス装置の使用者：自分がロボットの中に入り込んで、遠隔の環境に身をおいているような臨場感をもって行動できる。
装置の周りにいる人：ロボットに操作者の3次元映像が投影されて見ることが出来る。＝存在感を感じられる。

実際の場所に多数の人がテレイグジスタンスして来て集うことや、バーチャル環境をつくり、そこに各人の映像をリアルタイムに捉えて投影し合うことで、多数の人が集まっているかのうような感覚で、表情まで見ながら話ができるようになる。(テレビ電話をさらに進化させたシステム)

6.1.5テレイグジスタンスシステムの構成

(1)電話の延長としての相互テレイグジスタンス・ブース

1876年　Alexander Graham Bellが電話(telephone)の実験に成功した
→電話は音のテレイグジスタンス装置tele+phone
相互テレイグジスタンス・ブース
テレビ電話は電話の進化系で、(テレビジョンは電話というよりラジオの進化系)
3次元を等身大で面談をしているような状態で複数人が集える、テレビ電話がさらに進化したシステム

TWISTER(Telexistance Wide-angle Immersive STEReoscope)

距離の離れた人同士が、あたかもそばにいるかのようにコミュニケーションを行うための新しいシステム。
1995年から研究。2001年に裸眼で全周囲立体視できる新原理のディスプレイシステムとして開発に成功。

・回転パララックスバリア式
フルカラーLEDと立体視用の遮光板を固定した円筒を高速回転
円筒内部に360°全周囲の映像を提示。
立体映像を見ることが出来るブース。外側ではカメラで中の人を高速撮影している。
→2台使えば、お互いに裸眼立体視で相手を見ることができる。
利点
従来の全周型映像装置CAVEより小型
ディスプレイの輝度が従来より明るいので、話者を撮影しやすい
立体メガネが不要なので、話者の表情が隠れない

原理

左右眼用の光源列がそれぞれ一方の目にしか入らないように、光源列より前にバリアを設ける。
観察者の周りを回転走査させることで、メガネ無しの立体視を実現する。

ディスプレイ

左右眼用のフルカラーLEDを多数、短冊状の基盤に立てに密に並べる。
短冊とパララクスバリアを円筒に沿って複数個配置→モータで回転。

投影方法
円筒状のLEDに、提示したい映像がその位置に来た時だけ、見せたいパターンで点灯する。
↓
人間の感覚で統合されることにより、360°フルカラー立体映像が再生可能になる。
↓
回転により、バリア自身が見えなくなり、360°映像にも切れ目が生じない。

撮影方法

円筒の中央部にいる体験者を、ブースの周りのレール状を、観測者の動きに合わせて動くステレオカメラで、撮影する。
外からは中にいる人が、回転するブースが透けて見える。

(2)他者としてのロボットと分身としてのロボット

ロボットを作る時の設計論。ロボットを人間の他者として造るのか、自分自身の延長あるいは一部として造るのか。

他者としてのロボット

それ自体が独立した存在であり、最終的にはそれ自体の意志を持つ。
最終ゴールは自立的な人間。
ロボットへの命令は、話し言葉か指示書、コンピュータのコマンドなどの言語による。
例)鉄腕アトム、スタートレックの「データ」、チャペック「R.U.R」、鉄腕アトムの「アトラス」、スタートレック「ロア」

分身としてのロボット

意思は持たない。意思はあくまで本体である人間がもつもので、ロボットはあくまでも人間の一部。
ロボットへの命令は、言語を介してではなく、人間の挙措動作や内部状態に基づいて自動的に行われ、ロボットは人間の意のままに動く。(自分に言語で命令しないから)
1体ではなく複数体でかまわない。
例)義手。

分身ロボットに人間が入り込んだような状態をつくり、ロボットの感覚器を介して環境を認識し、ロボットの効果器を用いて自在に操ること＝テレイグジスタンス

(3)分身ロボットを用いたテレイグジスタンス

分身ロボットの感覚器を使い、自分が分身ロボットの中に入り込んだような感覚を得る。
→臨場感がある。
分身ロボットを周りにいる人たちが見た時に、そのロボットを使用している人のように見える。あるいは、その中にその人が入っているように見える。→存在感がある。

【臨場感の構築】

能動立体ディスプレイ

輻輳、両眼視差、像の大きさ、水晶体調節などの主要なてがかりを直接視の場合と同等にほぞした立体ディスプレイであり、観察者の動きによって、対象画面が適切に変化して、正しい運動視差を伝える。
テレイグジスタンスではこのディスプレイを用いる。

・理想的な視覚提示システム

２つのカメラを人の眼間距離に等しく配置する。
カメラを載せた人力機構は人の頭の動きに合わせて制御される。
↓
人の目の動きを測定し、それに合わせてカメラと提示用CRTの輻輳の、焦点に対する角度が同じになるように制御する。
↓
提示部では、CRT状に見える提示像の位置と大きさが実環境の像の位置と大きさと同じになるように制御する。

・実際の視覚提示システム

理想型に比べて、簡易型の設計

・提示面の固定

提示距離を固定しても、0.2m〜無限大までの範囲で水晶体の調節に関係なく輻輳、両眼視差、像の大きさの要因のみで正確な立体視が可能なので、提示面を対象の距離に連動させず固定する。

・眼球運動への追従を行わない

視野を眼球運動で見える範囲にあわせ十分に大きくとって、眼球運動への追従を省略する。

運動視差の提示機構

オペレータの運動に伴い、ロボット側のセンサ部も同一に制御しつつ、そのとき得られた映像情報をオペレータに提示する。

理想的には空間移動の3自由度と回転3自由度の合計6自由度が必要。

(1)パッシブリンク型
重力バランスをとったリンクに提示装置をとりつけ人の頭に固定。
粘性力や慣性力が補償されずに残るのが問題。

Q.機械を使った時に動かしても静止しようとする力(止まってるものの動かしにくさ)→粘性力。動かしてるものの止めにくさ→慣性力？(@somelu01)
A.粘性力は、速度に比例する抵抗（速く動かそうとするほど動かしにくい）、というイメージではどうでしょう。
止まっているものの動かしにくさだと、例えば重い台車を最初動かしにくい、というのも慣性力（＋摩擦力）によるものだったりしますので。(@kirurobo )

(2)マスタースレーブ型

人間の運動を磁気センサやジャイロなど軽量な装置で測定し、人の前に配した提示装置をそれに合わせて制御。
人との接触条件を厳密に考慮しないと、遅れや軌道のずれで使いにくさが生じる。

(3)インピーダンス制御型
パッシブリンク型にアクチュエータを加えて、慣性力や粘性に対する補償を行ったもの。
使いやすいが、コストが高い。

(4)頭部搭載型
ディスプレイを軽量化して、オペレータが頭にかぶる。
運動の計測は磁気センサなどで非拘束に行う。
自由度が極めて高い。軽量化しないと、重力と慣性力が首に負担。

聴覚の3次元提示

・波面再生
多数のマイクロホンを閉曲面上に設置して録音し実時間で伝送して、オペレータを囲むように配した多数のスピーカから再生する。

・最も簡単な近似
2個〜5個のスピーカを使うステレオ

・能動立体ディスプレイ
ロボットの左右の耳の部分にマイクロホンを配設して、その情報を耳内イヤホンでオペレータの左右の耳に送る。
→頭を動かしても音源の絶対位置は変化せず相対位置が変わるので真の臨場感ある音場が再現できる。

人間の耳の付近の音場だけを制御するトランスオーラル方式にヘッドトラッキングを使用する方法もある。

触覚の提示方法

操作指示の方式と合わせて考える。

(1)マスターマニピュレータ
通常のバイラテラルのマスターの有する力フィードバックに加え触覚情報もフィードバックする。

(2)3次元ジョイスティック
ジョイストリングやスパイダーで代表される方式

Q.ジョイストリングやスパイダーとは？(@somelu01)
A.何本かのワイヤーで吊した先を人が操作するような装置ですね。
その一種の「SPIDAR」が東工大 佐藤誠先生によるものです。記事や図を見ればイメージつきそうです。
http://www.itmedia.co.jp/news/articles/0703/15/news104.html
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.5.2159&rep=rep1&type=pdf
最近は人が装着する「SPIDAR-W」も。
https://twitter.com/o_ob/status/647413935306502144 (@kirurobo )

(3)グローブ
グローブにオプティカルファイバなどのセンサを排する。

人の指の動きを検出。手の位置と姿勢は磁気センサで空間の6自由度の精度を測定。

固有情報の提示
対称型、力逆走型、力帰還型、インピーダンス制御型

Q.「固有情報」とは？(@Somelu01 )
A.2.4.3 深部感覚（固有感覚）で出てきた位置覚・運動覚・力覚に関わる（例えば自分がどんな姿勢をしているかといった)情報を提示する話かと思います。(第2章 2.4.3深部感覚参照)
蛇足な補足ですが、例を挙げるならニコニコ超会議で台湾との握手
http://www.chokaigi.jp/2014/booth/cho_taiwan.html …
（"ミクミク握手"でお馴染みの Novint Falcon を使ったもの）は、
提示機構：
ワイヤーで吊ってはいないが、分類としてはおそらく (2)3次元ジョイスティック にあたる。
けれども(1)の延長の機構ともいえる。
固有情報の提示方法：
対称型 または インピーダンス制御型 を利用。（力センサは無いはずなので力逆走型や力帰還型ではないはず。）
それにより相手の手の 位置 と 力 を提示する。(@kirurobo )

皮膚感覚情報
(i)レリーフ状の携帯表示
(ii)人の皮膚への振動刺激による表示
(iii)人の皮膚への電気刺激による表示
電気刺激を皮下のメルケル触盤、マイスナー小体、パチニ小体などに選択的に与えることが可能。触原色原理に基づく提示法とともに今後が期待される。

TELESAR1989年
遠隔地にテレイグジスト
現実の物を、遠隔地から普通に持てる。HMDが重いのでゆっくりとしか動けないシステムだけど、ロボットもゆっくりしか動けないのでちょうどよいマッチングができていた。
自然すぎて驚かない→VRとかテレイグジストで目指すべき状態

HRP
ヒューマノイドロボットプロジェクト
国の肝いりプロジェクト
ホンダのP2というロボット。世界初の二足歩行ロボット。
これを操縦してテレイグジスタンスシステムを作ろうとした。
P2の頭にカメラをつけた。
普通にロボットの映像を見ていると酔う。ロボットの振動を操縦者のおしりに与えると酔わなくなる。歩いているという感覚が必要。

[存在感の構築]

向こう側の人にロボットがいるだけでなくて、その人がいる感覚を作り出したい。
再帰性投影技術RPT(Retroreflective Projection Technology)の利用
目の共役点の位置にプロジェクタを置いて画像を投影する。
↓
ハーフミラーの仕組みにより、人間の目の位置からスクリーン面に向けて画像が投影される。
スクリーン面が再帰性反射面になっていて、光を受けるとその光が来たのと全く同じ方向に光を反射し返す
↓
スクリーンに投射された光が、両目の位置に戻って来る。右目の位置から出た光は右目に、左目の位置から出た光は左目に帰って来るので、偏光フィルタなどで、左右の眼用の光を分離する必要がない。
「オブジェクト・オリエンテッド・ディスプレイ」
再帰性反射のRPTスクリーンの別称。
スクリーンとなり得る実体物があるところだけ、映像が映る。
HMPの焦点深度を深くしておけば、表面が凹凸になっていても提示画像を補正しなくてもよい。
利点：リアルタイム対応が可能。対象物の形状の計測と映像の幾何学的補正の必要がない。

操作者の姿を投影
ロボットに対してRPTスクリーンを適用。
操縦者の映像をロボットの中に人がいるように投影する。→愛知万博で提示。
再帰性投影プロジェクタを覗いた観察者が操作者の表情をロボット内部に見て操作者の存在を感じられる。
ロボットを潜水服のように感じる。iPadに顔が映るより実在感がある。中に人がいるイメージが大事。
操作者の映像の手前にロボットの腕が来た場合には、ロボットの腕が操作者の姿より手前に観察されるので、操作者の高度な存在感を矛盾なく提示できる。

Telesar5
ロボットハンドの先に、柔らかい弾性体でできた力分布センサーをつけた。カメラが入っていて、弾性体の変化をとらえて、力分布を操縦者に伝えて上げる。
力覚提示装置。
指一本で100万円した。外骨格型の力覚提示。
指先と外骨格の先が触れていなくて、常に追従する。何も触れてない時には触れない。遭遇型触覚提示。何かに触れた瞬間にカチッと触れた感覚が提示される。
指に応じて伸び縮みして、人の手の形に追従できる。

電気触覚提示
触覚を分布的に提示。
ロボットとVRが組合わさった時にユーザーがどう感じるかと、ロボットがいる遠隔地の人がどう感じるか

6.2 臨場感コミュニケーション

6.2.1臨場感コミュニケーションと超臨場感コミュニケーション

(1)臨場感

臨場感：「あたかもその場にいるがごとく感じる」感覚
臨場感を構成する要素は複合的であり、各々が相互に関連する。
臨場感を合成するとは、ある場所に自分がいた時に受け取るであろう感覚を合成すること。

(2)臨場感コミュニケーション

空間伝送技術が機能したとするとTV会議より臨場感が高いシステムになる。
手紙に比べれば電話、電話に比べればTV会議の方が臨場感が高いので相対的なもの。

(3)超臨場感コミュニケーション

①「超高」臨場感通信：Super-Reality
ほんとにそこにいる感じがする。
「その場」の視覚、聴覚、前庭感覚、触覚などを刺激する五感情報を、出来る限り物理的に忠実に取得、伝送、再生する「超高」臨場感(Super Reality)システム

例：4Kデジタルシネマやスーパーハイビジョンのように、よりきめ細かい映像を再生する。空間に光学像を再生するホログラフィのような立体映像方式。

②臨場感を超越：Meta-Reality
演出が入る。
より大きな感動、より深い理解、より豊かな想像力を与えるためにバーチャルとリアルの世界をシームレスに表示したり、五感情報を統合的に提示したり、逆に極めて特徴的な情報のみを提示するといった「リアリティを超越」するシステム

例：CGと実写を組み合わせたMR、現実の映像世界に注釈を重畳させるAR、触覚センサを使って映し出される映像を積極的に変化させるインタラクティブシステム。

送られて来る情報量が少ないにも関わらず臨場感を向上させる技術も含まれる。

(4)超臨場感コミュニケーションの応用

(a)大画面、立体テレビ放送、(b)遠隔会議、テレワーク、(c)テレショッピング、(d)遠隔医療、(e)教育応用

総務省情報通信審議会「我が国の国際競争力を強化するためのICT(情報通信技術)研究開発・標準化戦略」(2008.6)
超臨場感コミュニケーション技術が重要な研究の柱と位置づけられた。
「超高精細映像技術」
「立体映像技術」
「立体音響技術」
「五感情報伝達技術」
「感性情報認知・伝達技術」
内閣府総合科学技術会議(CSTP)でも立体映像を重要技術と位置づけている。

6.2.2臨場感の構成要素

空間要素
時間要素
身体要素

空間要素
立体感
質感(物の材質を推定できる)
包囲感(事故の周りに空間的な広がりを感じる感覚、没入感、雰囲気の空気感)

時間要素
動感(環境の時間的変化を捉える感覚、物の動きの速さや方向)
リアルタイム感(物事が実時間で生じていると感じる感覚)
同時感(異なる事象が同期してい生じていると感じる感覚。物の接触と衝突音とか)

身体要素
自己存在感(自己の身体全体または各部、手、足、頭部などの位置、方向、向きを感じる感覚)
インタラクティブ感(環境に存在する者や他者に働きかけた時に特定の反応が得られる相互作用の感覚)
情感(対象物に対して身体が感じる快不快)
感覚要素は独立ではなく相互に関連し合っているものもある。
感覚要素が複合的に与えられると相乗的な効果が生じる。
感覚要素が生じる
外的要因
視覚・聴覚・体性感覚(触覚)・嗅覚・味覚

内的要因
過去の経験・学習により脳内に蓄積された感覚の記憶に基づき脳内で生成される臨場感

臨場感の測定・評価

1)主観評価
印象を被験者自ら評定する。質問紙。
自分が感じている印象を正確に内観するのは容易ではない。

2)心理物理評価
物理刺激に対応する人の応答特性を定量的に測定する手法
意識下のプロセスを探ることも可能。物理次元と対応づけることでより定量的かつ信頼性の高い結果が導ける。

3)脳活動計測
fMRI、NIRS、EEG、MEG。発展途上

4)生体信号計測
生理計測
交感神経系をつかった心理計測。Fight and Flight。
危機状態に対して、戦うか逃げるか判断する時に怒る生理指標
瞳孔→開く。よく見ないとだから。
心臓→血圧と脈拍があがる
血管→拡張する
皮膚→発汗
結局はびっくりしたのを計測するので、臨場感を完全に計測することはできない。
臨場感の生理計測でうまく行った例

ラバーハンド効果
偽物の手を他人に叩かせる。自分の手にも触覚提示。
ラバーハンドにナイフを刺した時のびっくり度合いを計測すると、臨場感も計測できた。

5)行動計測
一番よく使われるのは心理物理実験。
ネッカーキューブ。どっちに出っ張っているのかわからない立体に見える図
触るとどこが出っ張っているのか判別できる。それがどれくらい速いか。
触覚が視覚に影響をあたえて、統合された立体像が形成されている。
視覚による立体形状の知覚に過去の学習が与える効果
fMRI計測で調べた実験。

トップダウン条件
立体情報を付与した物体の形状を被験者に学習してもらった後に、記憶からの多義的パタンの立体形状の判断を行う。

ボトムアップ条件
視覚の入力情報だけから形状を判断する。
↓
側頭葉の紡錘状回で立体形状の記憶が獲得される
外側後頭部でボトムアップ情報とトップダウン情報が統合される。
立体感の外的要因と内的要因を定量的に評価できるようになる。

6.2.3臨場感コミュニケーションのインタフェース

(1)3次元映像技術

2眼式
1対の左右眼用映像を提示。メガネあり(色や偏光による分離)、メガネなし(レンチキュラー、パララクスバリア)、HMD

多眼式
レンチキュラー、パララクスバリアなどにより水平方向に3以上の複数の視域を形成する。メガネが不要。運動視差的効果がある。

高密度な多眼式
多眼式よりさらに多数の視域を形成することで滑らかに変化する運動視差の効果(視点位置を移動した場合も追従した映像変化)を与える。視域形成ではなく水平方向のインテグラル方式の効果を実現する方式もある。
視点数を多くすると滑らかな運動視差に。

インテグラル方式
撮影、表示に複眼状レンズを用い、水平だけでなく全方向の視差を再現する。また光線群を再現するため、自然な立体再生像が得られる。
空間像再生型とも言われる。
対象からの光線群を再現する。

ホログラフィ
物体光の波面を再生することで、被写体からの立体映像情報を正確に記録再生する。レーザ照明などコヒーレント光が必要となる。
実物からの光をより正確に再現する。
両眼視差、運動視差、調節応答をすべて実現する理想的な3次元映像方式。
基本原理は1948年Gaborによって考案。物体からの光を"干渉縞”とよばれる非常に細かいパターンとして記録再生する。

表示面積層型・回転スクリーン型など
透明スクリーンの多層化、回転スクリーンの時分割表示などにより、一定体積内の立体像を表現。表示空間の制限などがあるが、実際の奥行き位置に再生できる特徴がある。
機械的な走査や透明な表示素子を多数重ねて、一定体積内に光点群や、2次元映像の多層像を表示する手法がある。

頭部搭載型ディスプレイ
今現在のチャンピオン
1965年Sutherlandが発明。
論文の名前はThe Ultimate Display
頭を降っても全く時間遅れなく両眼に映像提示ができていた。
シースルーで現実世界にキューブを投影していた。実はAR。
論文の最後「究極ディスプレイはある種の部屋になるはず。椅子が提示されたら、椅子に吸われなければならない。手錠が現れたら、手が動かなくならなければならない。」
→完璧な触覚提示がされたルームを想定している。

師匠がC.E.Shannon
↓
Sutherland
ワイヤーフレームや隠面消去も発明
↓
Jim Clark　NetscapeのCEO
Alan Kay　

HMD用のカメラとは
カメラをどう用意するか？
HMカメラをロボットにつけてあげると頭部回転も問題ない。

眼間距離と視野角
不一致だと巨人や小人になった感覚。
立体おもちゃViewMasterの箱庭間がある。(撮影時にカメラがとても離れているから。)
cf:２つのカメラで立体視ができると照明されたのは、ランダムどっとステレオグラムが発明されたとき。米軍がベトナム戦争で発明した。
当時アメリカ軍にとって大事なのはジャングル内の秘密基地や工場を発見することだった。
偵察機に２つのカメラをつけて、それを立体視して、平面なところを探す。

視野角の不一致
奥行きがおかしくなる
頭部回転運動の際に正面の物体が観察者の頭にくっついて動くか逆方向に流れる。
メガネを初めてかけたときの違和感。(視野角が変わって、頭を動かした時の世界の動き方がこれまでと変わるから)

設置型ディスプレイ

右目と左目に提示するための左右分離型の仕組みが必要。
時間でシャッター方式か変更方式など。
アバターはいくつかの方式で同時上映
XpanD、RealD、Dolby3D(気づかれないように作られた赤青メガネ)、IMAX3D

HMD用のカメラを設置型ディスプレイに使うには。

頭を動かしても、ディスプレイは動いてくれない。
首を振った映像をそのまま提示すると歪んでしまう。
頭に追従して動くバーチャルなスクリーン二枚に提示。テクスチャマッピング。

時間遅延
頭の動きから描画までに時間遅れ
HMD・画像が首の回転についてくる 。Oculusは時間の遅れをハードウェアで補償している。
設置型・画像は着いて来ない。立体視に関しては来るって奥行き方向にひずみを生じる。Oculus登場以前は遅延が起きないのが利点だった。

(2)3次元映像システムの開発例

多数のプロジェクタを配置し、水平方向の視差を高密度で再現したシステムの試作例。
多数のフルハイビジョンプロジェクタを配置
直視型ディスプレイに比べて極端に多くの画素が利用可能となる。
1億超の画素から出る光線を制御して立体映像表示

課題
個々のプロジェクタ個体差による輝度むらや色むら、光線制御に用いるレンズ特性などが原因で画質劣化を引き起こす。
再現する光線感覚が広いと人が頭を動かした時に画像がちらつく。水平方向に狭拡散するスクリーンが必要。
ホログラフィを動画化し、電子的手段で実現しようとする試みはMITや国内の研究機関で行われて来た。可視光の波長オーダの間隔をもつ干渉縞の表示が必要となる。

液晶などの表示でバイスでは画素間隔を1μm以下にする必要がある。
↓
視域が狭い、妨害となる光成分が視野に入る
撮影手段としてインテグラル方式を用い、このデータをリアルタイムで変換して、高精細液晶にホログラフィ再生像として動画表示するシステムが開発されている。

(3)3次元音響技術

最も単純な記録再生状況
マイクを2つ使って、スピーカー2つで再生する。
→１つの壁に２つの穴があいていて、向こうで音がなっているのと同じ状況と考えられる。
複数マイク、複数スピーカーにすると、穴がたくさんあくのと同じだから、音がどんどん自然になる。

ヘッドフォンでは
空間情報がロストする。
ダミーヘッドを用いたバイノーラル録音によってヘッドフォン用の音記録が可能。
(ダミーヘッドは200万円するけど、その辺のマネキンの頭の後ろに座布団つけてもそれっぽくなる)
nTTの研究所で一人一人の耳の型をシリコンで型をとって、録音すると、自分の耳の場合はまったく違う。筆でなでられた音で触覚を感じる。

映像・提示における相似性
ヘッドフォン＝HMD
スピーカー＝設置型ディスプレイ
問題は共通している。

バイノーラル再生
ヘッドホンを利用して耳元の音圧を制御する手法。再生環境に依存することなく3次元音場の再生が可能であるが、ヘッドホン装着による心理的影響なども考慮する必要がある。また頭部伝達関数の個人差による影響の考慮が必要。

ステレオダイポール再生
2台のスピーカを利用して耳元の音圧を制御する手法。ヘッドホン装着による心理的悪影響を取り除けるが、左右の耳のクロストークが生じるため、これを取り除くフィルタの設計が必要。頭部伝達関数の個人差による影響の考慮が必要。

波面合成法
多数のスピーカを平面状に配置し、その位置を制御ポイントにする手法。空間中にマイクロホンを多数は位置して音響情報を収録し、同じ位置に配置したスピーカを用いて収音環境の3次元音場を別空間で再現。聴取環境は反射が無い空間が必要。

境界音場制御法
多数のスピーカを配置するが、逆システム理論により、その位置と制御ポイントを一致させることなく、3次元音場を再生する手法。再生環境やスピーカ配置、収音環境に置けるマイクロホン配置などに柔軟性がある。

6.2.4臨場感コミュニケーションシステムの実際

(1)次世代ビデオコミュニケーションシステム

誰かが視線で見た所を、他の人がどのくらい推測できるか。
5cm半径の円くらいで推測できる。
目の前の人が見ている新聞の文字の場所を推測させた。
対話社が作業空間のどこをみているのかがわかること(ゲイズアウェアネスgaze awareness)が重要。
目線を補正するのが今の対応のしかた。
次世代のビデオ会議システムでは、作業空間の映像を共有できることと、身振り、手振り、視線が適切に表示される。

Clear Board
半透明ボードに相手を投影する。ガラス面に対してお互い描画しながら、対話できる。

t-Room
大画面の液晶モニターを8台並べて360°覆われた部屋をつくる。高速ネットワークでつなぐと、それぞれのルームにいる参加者が同じ部屋にいるような間隔を抱ける。

遠隔コミュニケーション
HeadSPIN2009
立体提示ディスプレイ(高速に回転する再帰性反射スクリーン)
顔を立体的に提示。
首から上が立体で提示されて目線も合う。

(2)テレイマージョン

遠隔地の利用者が3次元空間そのものを共有する没入感の高いコミュニケーション

CAVEも利用されてた。
ビデオアバターの利用。
利用者の姿をビデオカメラで撮影して、そこから人物像だけを切り抜き相手側に送信。
共有VR世界に合成。
ステレオカメラを用いて表面形状モデルを生成する2.5次元アバタ
多視点カメラによって3次元形状を再合成する3次元ビデオアバタの研究も進められている。
VR世界の中で相互コミュニケーション
ビデオアバター使わないで、全員キャラクターとかでもよい。
最近Oculusでもう可能になった。→たぶんAltspaceVR

代表的な研究プロジェクト
1997年
米国ブラウン大学、ノースカロライナ大学、ペンシルバニア大学
NTII(National Tele-immersion Initiative)
リアルタイムビデオ映像ベース3次元空間共有
机の前の壁面を遠隔地の様子を表示するスクリーンとして使用
バーチャルポインタなどのインタフェースツールを用いた協調作業を実現。

1999年
総務省
MVL(マルチメディア・バーチャル・ラボ)
複数のCAVE型ディスプレイ間を研究用の広帯域ネットワークJGNで接続
ビデオアバターを用いた臨場感の高いVR空間共有の実現の実証実験

(3)ロボットコミュニケーション

ロボット操作者による非言語的な行為をロボットに3次元に表現させることが出来る。
・ゲイズアウェアネスや指差し
・手足の動きで次の行動の予測
Robotic User Interface2004
片方のぬいぐるみの手をあげると、もう１つのぬいぐるみも上がる。
Qumarion的な。
おもちゃメーカーで売ったけど何万円もしたけど売れなかった。
ロボホンが最近発売された。

6.2.5時間を超えるコミュニケーション

ライフログ技術
さまざまなセンサを駆使して世界で生起する出来事を細大もらさず電子メディアの中に取り込んでしまい、あとで再生可能なほどに高い密度の情報データベースを構築し、利用する。

バーチャルタイムマシン
東京大学で開発中
水平方向は撮影された場所、垂直方向は撮影された時間。
多視点の写真から、対象の3次元形状を復元。
→Google Street Viewなど。
時間軸上にも拡大するだろう。
大量のデータの利用の仕方
・情報にメタデータをつける
・CV(Computer Vision)を利用して顔を抽出する
・自分がどういう行動をしたかある程度整理して記録することのできる知的カメラで行動の基本要素を出力する。

第7章　VRコンテンツ

7.1 VRコンテンツの要素

VR業界は完全に様変わりして、教科書の内容は歴史になっている。
歴史と新しい話題を両方出して行く。

サザーランド
Ultimate Display立方体提示・ペンタブレット(コンピュータとフィジカルなインタラクションという概念)・ビジュアリゼーション。
ゲームの分野でいかに身体的インタラクションをするかも変わって来ている。
プロジェクション型のVRシステム。CAVEなど。
2000年頃からバーチャルな環境に入り込むだけでなく、いかにフィジカルな形にするかという考えが生まれて来た。
VRコンテンツは時代とともに変わっている。費用も下がっている。
昔は99％ハードウェアにかかる費用だったのが、ハードウェアはほぼゼロに近づいてきている。

2015年VRコンテンツ産業が始まったと言える。
2020年に＄160Bの予測
＄120BがAR市場規模(ハードウェア・広告・アクセスしたデータの利用・)
＄30B がVR市場規模と言われている。(ゲーム・ハードウェア・映画・テーマパーク・)

7.1.1VRコンンテンツを構成する要素

VRシステムの中のシミュレーション→モデル→レンダリングの部分。

(1)提供される世界

空間的同一性あり(現実世界) 空間的同一性無し(架空の世界)
時間的同一性あり
(現在)		 一般的なMR/AR
医療用シミュレータ		 運転シミュレータ
メタバース(2ndLife)
MMORPG
時間的同一性なし
(過去・未来・架空)		 デジタルアーカイブ
未来予想系AR		 一般的なゲーム

デジタルアーカイブ例：鉄道博物館

(2)　感覚の種類

視覚・聴覚・触覚・嗅覚・味覚・平衡覚・
どの感覚が体験の本質と密接に関連しているか判断することが重要

(3)インタラクションの度合い

インタラクティブ性：高い→低い
同時体験人数：少ない→多い
トレードオフの関係にある。

HMD+Input(インタラクティブ性は高いけど、１人だけ)→CAVE(誰か１人の視点を多人数で)→アトラクション(スターツアーズとか一人一人は運転できない)→Theater(数百人同時に体験できるけど、あくまでもコンテンツを見る。一人一人のインタラクション性はほぼ無い。)

解決策→Metaverse　インターネットを介して、HMD＋Inputで一人一人のインタラクティブ性は保ちつつ、大人数で体験。

(4)体験の本質

Virtual 仮想や虚構ではない。現実とは異なるが同等の意味をもつもの。]

ユーザにとっての何を本質と捉えるかによってバーチャルの言葉の使用法が変わる。
何をバーチャル化するか？２つの考え方がある。

・現実世界の環境や機能
・ユーザーの主観的体験

cf：バーチャルFX
＝実際の取引ができる機能？ (現実世界の機能)
＝疑似環境における取引の学習体験？(ユーザーの主観的体験)

何をバーチャル化するかは異なる。

実際には長年VR＝仮想現実・虚構と訳されて来た
→日本と欧米におけるVRトレンドの違い

・VR元来の目標
＝まず現実を完全に再現し、そこに新たな価値を付加して行く(欧米)
←→空想・仮想の世界に実体を持たせ、体験可能にする。(日本)

日本のVRのトレンド
頭の中にあった空想の世界を以下にVRに落とし込むか。妄想の世界を作り出すというのは今まではなかった。

「仮想現実」を作ろうとしているのかもしれないから、曖昧になってきているかも。
VR学会では「仮想」とは訳さない。

7.1.2VRコンテンツの応用分野

3C
・Creation デザイン・アート
・Control　環境制御・ロボット
・Communication　超臨場感通信・メタバース

3E
・Education　教育、訓練・シミュレータ。アーカイブ(昔のことを伝えたり遠方のことを伝えたり)
・Elucidation　研究利用・科学的シミュレーション(地震のメカニズムをシミュレーション再現とか)
・Entertainment　ゲーム・アトラクション

7.1.3VRコンテンツと日常生活

日常生活にとけ込むバーチャル

・遠隔コミュニケーション
Skype、テレプレゼンス
SNS

物理的に見える範囲、声や手の届く範囲にある物や人との直接的なかかわり合いによる体験よりもバーチャルな体験により得られる情報量の方が圧倒的に多くなりつつある。

・電子マネー
ネットバンク・Suica Bitcoin
そもそも通貨そのものが金銀のバーチャル化

・エンタテイメント
日常にとけ込んだVRはもはやVRとは呼ばれなくなる。

7.2 VRのアプリケーション

7.2.1サイバースペースとコミュニケーション

(1)サイバースペースとメタバース

メタバース(From Snow Crash 1992)
Meta 「超える」とUniverseの合成語
例：Second Life、Meet me、アメーバピグ(中学生くらいに人気)

条件
・三次元のシミュレーション空間を持つ
・自己投射のためのアバタが存在
・複数のアバタがネットワーク越しに同一の３次元空間を共有
・空間内にオブジェクト(アイテム)を創造できる。
→現実に存在する自治体や組織等が参入し、バーチャルな社会活動・経済活動が展開される。
ゲームとの違い：ミッションがあるわけではない。入って現実と同じように何をしても良い。違いは連続的。

メタバースの分類
自由市場型メタバース：Second Life(基本的になにしてもOK)、Splume
アイテム課金型メタバース：Meet me、Blue Mars、Ai@Space
MMOゲーム：クラブペンギン、HOME、Barbie Girls、動物の森、FF

(2)メタバースのシステムアーキテクチャ

分散処理型ネットワークアーキテクチャ
シミュレーションサーバ群は現在はクラウドで処理することが多い。

①SIM：3次元の物理シミュレーションを行うサーバ。
②Viewer：シミュレーションサーバに接続してシミュレーション結果をレンダリング表示、ユーザのインタフェース、ユーザ間のコミュニケーションなどをする。
③User Server：ユーザの認証、ユーザの在庫管理などを行い、webからの認証も受け付けている。
④Space Server：空間を管理し、アバタがいるSIMを管理しテレポーテーション(瞬間移動)などの管理をする。
⑤Data Server：データの管理を行う。セカンドライフ内においては、すべてのオブジェクト、アバタ、テクスチャなどにそれぞれ唯一の128bitのIDがふられており、このIDによるDBの分散管理を行っている。
⑥Data Base：ユーザデータ、インベントリ情報などの管理をする。
⑦Asset Strage：メタ空間に存在しているすべてのオブジェクトの管理

2007年時点でセカンドライフにおいては、20,000いじょうのSIMサーバがメタ空間の処理をしている。SIMあたり65,000平方メートルの空間をシミュレーションできるので、サンフランシスコの10倍、東京都の半分強くらいの空間。

(3)アバタ・コミュニケーション

メタバース内においてはすべてのユーザが自己を投影したアバタを介してコミュニケーションを行う。
アバタ間の同期、非同期型の通信、体験狭布夕方のコミュニケーションが可能。
1)テキストチャット
2)ボイスチャット
3)インスタントメッセージ
4)ジェスチャー
5)アバタの容姿
6)環境

・コミュニケーションの手段
テキストチャット、ボイスチャット、インスタントメッセージ、ジェスチャ、アバタの容姿などさmざまなコミュニケーション環境
アメーバピグだと浜崎あゆみのライブで、本人のアバタも出る。
AltspaceVRで企業のプレゼン

同期型：チャットやイベント鑑賞
非同期型：置き手紙やオブジェクト

(4)メタバースとメディア(メタメディア)

１つのメディアと捉えると、今までのメディアとはかなり異なる性質がある

①情報(コンテンツ)の供給者も消費者もアバタとしてメタ空間に存在し、平等なメディアである。
②同期性、非同期性、双方向性、単方向性、インタラクティブ性のすべての特徴を包括した複雑なメディアである。
③集団的・劇場的メディアで、イベントや環境の共有により、情報の受信感度がコミュニティによって大きく変化する
④メディアに発信するコンテンツのみで完結するのではなく、受信する側のコンテクストや、受信者(アバタ)もコンテンツの一部となる参加型メディア
⑤コンテンツ同士が同じ空間を共有できるため、チャンネルという概念ではなく、距離という概念で、コンテンツへの参加レベルを、受信者が選択してくメディアでもある。

すべてのコンテンツが劇場型コンテンツになりうる。かつ現実より、交通費などコストが安い。
e-コマースやWeb、TVでの買い物と違って複数人でのショッピングだと購買意欲や購買動機も変化する。
スポーツ観戦も複数の方が楽しい。
IBMはウィンブルドンのテニスボールの3次元情報をリアルタイムにセカンドライフ内に再現し、アバタで観戦する実験もしている。

(5)メタバースとバーチャルリアリティの融合

「サイバー世界とユーザをつなぐインターフェースとして、普及型バーチャルリアリティシステムの技術進歩に大きな期待がかかっている。」いまこれが解決される時代になったと言える。
そもそもFacebookがOculus購入したのもそれが理由だろう。

7.2.2医療

(1)概念と原理

・三次元の空間性 →知覚と認知
・実時間相互作用性 →意識と行為
・自己投射性 →経験と感情

医学との関連が深い。

知覚、認知、記憶との照合、問題識別、立案、選択、行為行動、価値判断、などをいかに再現するかに使われる。

(2)代表的応用例とその特徴

1)画像診断学

医療用画像データ国際標準規格DICOM(Digital Imaging and COmmunication in Medicine)

3DCGで非侵襲的に2Dでは可視化不可能な形状の特徴を描出させる→Non-Invasive Virtual Diagnostic Radiology

4DCGは血液や脳脊髄液の流体力学解析に用いられる。→時間操作できる。
脳動脈瘤が形成する位置や、水頭症などの脳圧亢進状態と脳脊髄液の循環状態の把握に用いられる。

現在臨床応用されているもの
バーチャル内視鏡
バーチャル気管支鏡
バーチャル耳鏡
バーチャル血管内視鏡
バーチャル脳室鏡

2)外科学

訓練

Bench Station：人体模型に対して通常の手術器具を用いて切開や縫合などの実際に手術手技を訓練する装置

→この人体模型部分をVR技術を用いてモデル化
Objective Structured Assessment of Technical Skill(OSATS)という手術評価法を用いて、Bench Stationを用いた訓練と動物を用いた手術訓練に効果性の差がないことを示した。

訓練用に触覚、反力、粘性などの情報をバーチャル人体モデルに付与する必要がある。

・血管、腸管、気管支などの管腔臓器モデル→バネ・ダンパモデル
(計算量が少なく力覚刺激提示に向いているが、接触面の摩擦や抗力の正確な計算が困難で形状変形が不安定)

・心臓、肝臓のような複雑な形状を有する実質臓器のモデル→有限要素モデル
(境界条件や実際的な弾性変形などの特性を考慮)

臨床応用
ステントという血管拡張でバイスの手技獲得のための3D stenting simulationや3D intravenous catheterization training
手術
訓練

3)リハビリテーション医学

医学的リハビリと社会的リハビリ

①認知・運動機能評価　
②介入、訓練の個別最適化　
③職業や社会生活のための再教育・訓練(VR空間に環境を構築できる)　
④病状への患者・家族・医療者間の相互理解(症状の疑似体験など)

4)精神神経科学

高所恐怖症患者への暴露療法、その他様々な恐怖症やPTSD、
安全な範囲で少しずつ慣れる療法
高度な自己投影性が求められるため、高い現実感や臨場感を生むシステム性能が必要となる。

(3)医用VRシステム開発法概説

臨床研究の倫理指針に従う必要がある。
有効性と副作用も含めた有害事象の有無を正確に検証する研究試験方法論を用いることが求められる。

1)前臨床試験

工学技術に体する医療応用可能性の検討
要求要件の作成(要求工学)←最も重要
要求要件に応じたシステムの外部設計とスパイラルプロトタイピング法を用いたシステムの試作

性能評価
機能評価

可能な限り開発初期から専門領域の医療者と協同で研究開発を進める。
臨床的な課題とそれに対する開発システムの目的と価値を開発頭書から明確化する。

2)臨床試験

フェーズ１：人に対する有害事象の有無の確認と有害事象を来さない投与量や投与方法の決定
フェーズ2：薬剤の効果の有無の検証
フェーズ3：既存の診断・治療法より有効か否かの比較検証
フェーズ4：市販後有害事象がおきないかどうか追跡調査

VRは有害事象が認められないと考えられる場合には、有効性試験を統計学的検定が可能な研究デザインの基に実施する。既存の診断法や治療法と比較するときは、ランダム化比較試験を行う。

da Vinci
医者側は、機械側が拡大して表示される。自分の手の大きな動きを微細な動き(マイクロ単位)に反映できる。
圧倒的に手術の失敗率が下がった。切開する穴も小さくなって術後の回復も早い。
日本国内の大学病院に入って一部の手術では保険適用。
VRとは呼ばれずに、医療器具の１つになっている。

7.2.3教育・訓練(シミュレータとその要素技術)

(1)シミュレータとは

実験用シミュレータ
物理現象や機械、システムなどの模擬実験を行い、現象や特性を理解することが目的
課題は「正確に模擬すること」

訓練用シミュレータ
航空機や自動車などの装置、システムを走査する人間の訓練が目的
課題は限られた資源を使っていかに効率良く訓練を行うか
「正確性＋リアルタイム性＋インタラクティブ性」「訓練する人間の感覚をいかにだましてそれらしく感じさせるか」
・安全に訓練できる
・繰り返し訓練できる
・実機よりも低コスト

訓練用シミュレータのグレード
1 Basic skills：基本動作の習得
2 Task skills：基本手順の習得
3 Procedural training：操作手順に沿った模擬訓練
4 New techniques：新しい高度な技術の開発と習得
5 Mission Rehearsal：個別課題の計画、予行演習

(2)感覚の模擬と要素技術

注意すべきこと
・VR情報を与えることによる、身体的・感覚的な影響(疲労や障害、誤認など)を考慮する
・適性検査における不適切な排除(シミュレータの結果と実際の適正では相違が生じる点)につながらないよう考慮する

1)視覚の模擬：模擬視界装置

映像発生装置と映像表示装置

フォトテクスチャマッピング
実際に撮影した写真を貼付ける

イメージベースドレンダリング
実際に撮影した映像情報をもとにCG映像を生成する

ボリュームグラフィック技術
CTやMRIなどから得られる格子画像点情報をもとに映像を構成し、物体内部の表示も可能にする

-CTやMRIの像をCGとして見る場合は、
--ボリュームレンダリングと呼ばれるボクセルのまま描画を行う手法
--ある濃度（透過率）を閾値として、その境界にポリゴンで面を張る（=マーチングキューブ法など）手法の大きく分けて二種類があります。かつて前者は専用かつ非常に高価なボリュームレンダリング専用の描画回路を必要としていましたが、近年はGeForce等の広く使われている安価なGPUでもリアルタイムでの描写が可能になってきています。(@AmadeusSVX)

2)聴覚の模擬：模擬音響装置

アンプとスピーカ

3)前庭感覚の模擬：動揺装置

フライトシミュレータでよく用いられているのが、6自由度モーション装置

4)触圧覚の模擬：反力発生装置

操舵反力発生装置：コントロールローディング
ハンドルとかを操作した場合の重さや振動を模擬

SR(代替現実)
脳科学研究で同じ現象を再現するために作った。
社会的コミュニケーションを再現する時に、同じ環境を再現できないから。
本人に気づかれないまま社会的コミュニケーションを実現することができる。
安全に訓練できる
繰り返しできる
低コスト

Boeing Flight Simulator
ボーイングでは新しく機体を作る度に、それに合わせたシミュレーションを作る。
本物では事故を起こせないから。
ほとんどシミュレータで訓練する。
本質的に現実と同じ運転状況で訓練する。

7.2.4エンタテインメント

(1)Interactive Park Attractionsの歴史

インタラクティブ性のあるPA
画面に向けて観客がシューティングゲームをすることのできるスターツアーズ

90年代ナムコ

「観客が主人公として能動的に参加し自らドラマ体験することを可能にする」アトラクション

・ギャラクシアン
28人乗り、油圧駆動による揺動装置と大画面プロジェクタ映像
http://bandainamcoent.co.jp/gallery/ayumi/archive/gala3/
http://blog.mobilehackerz.jp/2010/07/3-20.html
http://blog.mobilehackerz.jp/2010/05/3.html

・ドルアーガの塔
４人用トロッコ型。シューテングゲームだけどマルチエンディング

90年代セガ

AS-1
油圧駆動によるシミュレーションライド「AS-1」の開発。
8人乗りの体感劇場。スクリーンは約100インチ、プロジェクタの映像に合わせて揺れる。
映像と揺動データはレーザディスクとROMに記録され交換すると別の作品が上映できた。

・「マゴー！ザ・ライド」
ブタの顔をした宇宙人戦闘機パイロットが大活躍する冒険譚
監督：ダグラス・トランブル
76年に「体感劇場」を発明した。ユニバーサルスタジオの「バックトゥザフューチャー・ザ・ライド」が代表作。2001年宇宙の旅の特撮監督
セガにPA開発(受け身の臨場感を演出する)ノウハウが数多く技術移転された。

PA開発技術
①PAでは「観客の没入間を深める(臨場感を高める)ために、視野の大部分をスクリーン映像で占める」→視野の3分の2に没入間のしきい値がある。
②Motion Design(揺動)の効果的な技法や、揺動と絶妙に合わせた映像の演出方法。大画面のできるだけ実寸に近いモックアップを作って、映像と同期した座席の揺動を何ヶ月もかけて少しずつ開発して行く。
「マルチセンソリー」：深度と視覚などの多感覚を同時に刺激してリアリティを与える手法

(2)IPAのインタラクティブ性

AS-1「スクランブル・トレーニング」(93年)
インタラクティブ性
観客が手元にあるスイッチを押すと、画面の中でミサイルが発射される

VR-1「スペースミッション」(94年)
AS-1の動揺装置がそのまま使われている。世界で初めてHMDとMotion Baseを組み合わせたIPA。
1994年にHMD使った複数人のライド系アトラクション。加速・減速は筐体を傾けて、重力加速度を利用して提示する。実際には2〜30°の傾き
現在はUnityやUEを使ったパーソナルなVRコンテンツを作れるので今は当時より広がっている。

①観客のHMDには立体位置センサがついており、その位置と観客が顔を向けている方向の情報が実時間でCGボードに入力される。
②瞬時にCGボードがバーチャルな世界を描画する。「上からせめて来たぞ！」という声に反応して上を向くと、位置センサの情報に基づいて、CGボードが上方向に見えるはずの映像を作成する。
③映像はHMDの液晶モニタに表示される。
自社のCGボードMODEL2(毎秒15〜30万ポリゴンを表示)と液晶シャッターメガネを用いることでCAVE同様の機能を実現。
２人同時仕様に拡張したシステムを開発。

CAVE型IPA「ザ・クリプト」
4畳半の小部屋
四周の壁と床の5面が1辺2.7mの正方形のスクリーンで構成されている。地下の迷宮を入って財宝の部屋に入った観客は岩石の巨人に頭を殴られ、地下深くまで落下する。
立体映像がリアルタイム投影され、襲って来る巨人の背後に観客が動けば、巨人の背中を見ることが出来る。

①CAVE型アトラクションの中で、観客が顔を向けている方向とメガネの位置情報が立体位置センサによって、リアルタイムでCGボードに入力される。
②瞬時にCGボードがバーチャルな世界を描画する。始まってから一定時間後のVR世界の観客の立ち位置(舞台背景)は(VR-1と同様)決まっているので、周囲360°分の背景をあらかじめ用意しておくことができる。
③CGボードの作った映像は、ビデオプロジェクタを経由してスクリーンに投影される。

観客が周囲を見回すことから生じるインタラクティブ性による能動的な現実感と大画面による深い(受け身の)没入間が同時に獲得される。

IPA作品における「VR技術の構成要素」
①大画面映像による極めて深い没入感
②視聴覚とそれ以外の感覚(揺動など)を融合させた、マルチセンソリー(多感覚)による臨場感
③インタラクティブ性(IPAにおいては日本のゲーム会社がこの技法を付加した。)

①、②→受け身のリアリティ
③→能動的なリアリティ

7.2.5製造業

工場や車のシミュレーション

QCDを高いレベルで実現するために行う
QCD：Quality Cost Delivery

バーチャル・マニュファクチャリング(デジタル・マニュファクチャリング)
バーチャル環境での設計や実験、実際の工場を再現したバーチャル工場での生産を行う。
・製品の品質評価
・工場での製造性や生産性も評価
・実際の製品設計や生産システムの構築
・生産計画の立案に反映

実物の寸法で検討
作業や事故のシミュレーション

(1)デザイン

意匠設計用ソフトウェアを利用したデジタルデザイン

(2)設計

3次元CAD

デジタルモックアップシステム(DMU)
設計段階での完成度を高め、下流行程で発現する不具合を減らすために、コンピュター上でバーチャル製品を組み立てる。

(3)試作・実験

機構解析ソフトウェア

(4)生産準備

バーチャル工場
作業者もデジタルマネキンでモデル化
実際の工場での量産開始と同時にフル生産を行う、生産の垂直立ち上げを実現する。

7.2.6ロボティクス

(1)ロボット実用化のための課題

ロボットコンテンツ
ロボットが行う行為そのもの

(2)ロボット支援の効果と経済波及効果

不足する労働力を補う
介護負担を軽減する

(3)家事や介護からのロボットへのニーズ

ロボットの導入にふさわしいと解答が多かったのは
衣類やシーツの洗濯
室内や水回りの清掃
室内や器具類の除菌清掃
食事の後片付け

(4)ロボットコンテンツ産業の成長シナリオ

プレプラットフォーム期
しばらくの間は技術とコンテンツが渾然一体となって進化を続ける
製品化の段階まで到達するとコンテンツに対するニーズが拡大し、技術とコンテンツの担い手の分化が始まる。

7.2.7可視化

(1)可視化の歴史

1次元のコンピュータシミュレーションは出力データがスカラー量のみ
可視化はグラフ表現だった
↓
2次元になり、ベクトル量を扱うことが可能になった。
↓
3次元以上になり、空間分布としてのスカラー量、ベクトル量の表現が必要になった。
コンピュータの処理速度の向上、高次のベクトル量の表現手法の進歩、立体視技術の進歩

(2)3次元シミュレーションと可視化

対象となる現象は連続データである場合が多い
↓
モデリングシミュレーション
離散データ化
↓
離散データまたは連続データで可視化する。

(3)スカラー量の可視化手法

1)等値面表現

同一の値を3次元空間で面に接続

2)ボリュームレンダリング

視線が通過するボクセルの物理量を積分する。最終的にスクリーン上に物理量の密度として描画するレイキャスティング法が代表的アルゴリズム。

(4)ベクトル量の可視化手法

1)流線法(streamline method)、粒子追跡法(particle tracking method)

空間に分布する速度ベクトルを連続的に積分して、空間内の流れの分布を表現。
流線法は定常流を扱うので時間で変化しない
粒子追跡法は粒子が通過する時点での速度ベクトルで積分するので、時間によって変化する。

2)LIC法(Line Integral Convolution)

流線砲の欠点を補うベクトルデータの表現法
小さな変化を表現できる。

(5)他の感覚を利用したデータ表現手法

可聴化：潜水艦のソナー
可触化：分子間力を力覚データに

(6)バーチャルリアリティを利用する利点

構造把握など立体視を使うと理解が容易に。

7.2.8デジタルアーカイブ、ミュージアム

日本だと印刷系の会社での取り組みが多い。
印刷ではなくVRの手段で取り組む
高精細な映像で記録。バーチャルで再現。文化財に対する理解を深める。
「伊能忠敬の日本図」VRシアター

(1)デジタルアーカイブとVR

デジタルアーカイブの対象となる文化財
有形文化財(形のあるもの)から無形文化財(形のないもの演劇、音楽など)まで。
精密にデジタル化すると
・オリジナルへのアクセスする頻度を減らして、劣化や破損のリスクが高い文化財を適切に保護できる。
・さまざまな表現手段によって、デジタル情報をコンテンツ化し、活用できる。
・VRを表現手法に用いると、空間関係や時間関係を直感的に利用者に提示できる。

1990 バーチャル考古学
IBM Paul Reillyが提案。
実際の文化財に触れることなく、あらゆるシミュレーションが行えて、あらゆる視点から検討できる。複数の研究者が作業を共有できる。

デジタルアーカイブ
正確性が重視されるため、計測に基づく客観的なモデル化手法を用いることが多い。
3次元スキャナを用いるが様々な手法。
解像度や色再現性の点から、3次元スキャナとデジタルスチルカメラや専用スキャナを併用が多い。
厳密な色再現のためには
分光放射輝度計などによって対象表面の分光反射率を測定も行われる。
人物の動きにはモーションキャプチャも使われる。
対象となる文化財がすでにない場合や、過去、復元後の状態を再現する場合には考古学検証に基づきモデル化を行う。
視覚以外の五感
実物から安全に記録する手法が確立されていない。
五感情報の記録によっ得られるデジタルアーカイブの価値が十分に議論されていない。

(2)ミュージアムとVR

・さまざまな利用者に対して受け入れられやすいシステムか
・利用者に対して身体的負担や生理的負担が大きくないか
・多くの利用者に均等にサービスを提供できるか
・VRの特性を生かし、ビデオ映像などでは得られない深い理解や感動を与えられるか
・コンテンツの内容は正確か
・メンテナンスや運用は容易か

7.2.9地理情報システム

(1)地理情報システム(GIS)の背景

GIS：Geographic Information System
地球上の位置情報を利用したITシステム。
測量、地図学、地理学
1960年　カナダ
森林を紙の地図で管理するには規模が大きくなりすぎて、コンピュータを導入。

広義のGIS
地理学的観点での利用を想定した解析システム。
地理的空間的な広がりをもつ統計データに対して、空間解析を施すためのシステム。商用のGISのほとんどがこれ。地図サービスやヒューマンナビ

狭義のGIS
空間解析ができるシステム

(2)空間記憶能力とメディアとしての地理空間情報

認知地図：頭の中にある地図。
ヒューマンナビゲーションシステムは空間認識障害や、空間把握が不得意な人を適切に支援できる。

(3)測量とGIS

GIS：正確に測った地図をIT技術を用いて地図データベース化してより柔軟に使えるようにしたシステム

(4)バーチャルグローブ(Virtual Globe)

Google Earth(前身Keyhole)、Microsoft Virtual Earth、NASA World Wind
最初はアメリカの国策でやろうとして失敗した。

1995 Terravision
ベルリンART+COM研究所
世界初のバーチャルグローブ

原点
1968 Powers of Ten
Charles and Ray Eames
ドキュメンタリー映画。スケールという概念を可視化。

Levels of Detail(LOD)
バーチャルグローブを一般のPCで見せるために必要。
近いものは詳細なモデル、遠くのものは粗いモデル
視点移動の度に計算し直し。
Google Earthだとユーザの移動スピードは地表面からの高度に応じて速くなる。

(5)未来空間シミュレータとしてのGPS

未来の状態を地理空間データベースで実現。
建設CAD→3Dモデリング→無人のGPS搭載のロボットブルドーザ

コンテンツの分野では今のバーチャルリアリティ学の教科書は歴史書なので、あまり教科書を信用しないで現在の生のVRコンテンツに触れた方が良い。

第8章　VRと社会

8.1 ヒト・社会の測定と評価

8.1.1実験の計画

心理学の基本的な方法論

科学的技術の方法論とは
仮説・実験を行う。
実験をして確かに動くということを確かめて、評価、測定を行って、適切な評価をするのが大事。

・実験的方法

独立変数と従属変数
(パラメータを変えた時に変わるのが従属変数)
複数の独立変数はお互いに直交的な関係にあることが望ましい。
独立変数は本当に独立かどうかを考える。

例：色と明るさ　つやと明るさ　厳密に正しいかどうかを考えなければならない。

統制された実験と外部妥当性(external Validity)
実験室で想定した過程では正しくても外側から見た時に正しいか、が外部妥当性

・観察的方法　調査的方法

独立変数を操作できないもの
対象がとても大きい
操作すると危険
実験よりも統制が困難

外部妥当性には優れる
原因であろう変数と結果であろう変数を推定する

→社会実験はたいへん。ミュージアムで実験しようとしたら、どんなお客さんが来るか選べないし、変な展示したら暴動が起こる。
でもサンプルは多いので外部妥当性には優れている。

・実験-心理物理学的方法
物理量(独立変数)を操作して、心理量(従属変数)を計測する。(元来は精神社会と物理世界の関係に着目し、両者を結びつける法則を解明する学問領域)

8.1.2心理物理学的測定

恒常法

心理測定関数
光点の強度で見えるか見えないか。肯定反応率が50％になる物理量を閾値とする。
独立変数の最適化が不可欠
小さすぎる→全く知覚されず閾値が求まらない。(床効果)
大きすぎる→全て知覚されて閾値が求まらない(天井効果)

範囲を広げて刻みが大きくすぎる→感度が不足し正確な閾値が求められない
十分な解像度を持って実験する。

恒常法の弱点
時間がとてもかかる。正しいかもしれないけど拘束時間が長くコストがかかる。
以下はコストが安い簡易的なやりかた

・弁別閾(discrimination theshold)
２つの物理量がぎりぎり区別できる差。
ウェーバーの法則
弁別閾は基準となる刺激の物理量に比例する。

極限法(method of limits)
実験者が物理量をだんだん上昇(下降)させ、被験者が知覚の変化を答える。

調整法(method of adjustment)
被験者が自ら刺激の物理量を操作し、ぎりぎり見える値や別の刺激と同じに知覚される値を判断する。
相対的なもの

主観的等価点(Point of Subjective Equality:PSE)
P29図2.2.3のパッチのどちらかの輝度を実際に上げるか下げるかして、知覚的に同じ明るさに見える点を計測する

マグニチュード測定
被験者にある標準刺激を提示して、それにある数字を設定し、その後に提示する比較刺激に対して、適当な数字を近くに基づいて当てはめさせる。
↓
ベキ法則(Power law)
心理量は物理量のベキ乗になる。

8.1.3統計的検定

帰無仮説
有意水準
独立変数を操作して実験を行い、従属変数を計測する
↓
条件の間に差があるかないかを調べる
一般的には平均値を比較することになるが、差があるかないかは平均値の差だけでは決まらない。

帰無仮説(null hypothesis)「条件間には差がない」
帰無仮説に対して観測されたデータがあまりに起こりえない確立である時に
その帰無仮説を却下し、統計的には有意な差がある、と結論する。

帰無仮説に基づく統計量の確立分布に対して、観測されたデータがどれくらいの確率で生じるかを調べる。
↓
有意水準(一般的には5％あるいは1％)の臨海値を超える時に(確率が低い時に)有意(significant)と判断する。

差がない可能性は5％しかない＝差がある
「差がある」は結論しやすいが「差がない」は結論しにくい。

p値が有意水準より大きくても帰無仮説を棄却できないことを示すだけで、分布に差がないことを積極的には言えない。
実験をどうやったら正しくできるか。

8.1.4調査的方法とその分析

・調査的方法
質問紙の作成
聞きたいことが聞ける質問か
対象者のサンプリングバイアス(サンプルの対象がおかしいことがある。周囲のPC使っている人だけにUI質問してしまうとか。90年代のインターネットアンケートとか。)
無作為抽出ができているか

SD(Semantic Differential)法 意味差判別法
反対語対　明るい・暗い、強い・弱い　などを提示
ある項目や事象についての印象を対間の5〜9段階程度のスケールで答えさせる。
質的な印象についての定量的なデータが得られる
条件間、被験者間の定量的比較が可能となる。

因子分析(factor analysis)との併用
10の形容詞対で調査を行ったときにばらばらな形容詞が何を反映しているかは不明。
10〜30程度の項目についてSD法でデータを集める。
因子分析によって、項目間の相関を元に共通の印紙を抽出
各項目がそれらの共通因子にどれだけ寄与しているのが推定
適切な因子数の決定、因子に対する解釈、因子名をつけることが重要。
各質問項目のデータが少数の因子のデータに代表され、適切な考察が可能になる。

一対比較法
AとBとどちらが好きですか？など
最近はアンケートを使わなくても、ライフログを使ったり、インタラクティブな展示では、中にユーザーがどんな動きをしたかをとれるようにしておくと大量のデータが手に入る。

8.1.5VR心理学

リアリティは心理的なものである。
脳で知覚して、知覚表象したところでVRが存在する。

疑似触覚
VRの最初は、心理学者にとっての実験ツールを供給していた。
ここ数年間は心理学的な錯覚現象をVRのシステムを安価に作る方法が採用されることが多い。
正直に作るとペイしない。
その中で有名なのが疑似触覚。
マウスを動かして、急にカーソルを止めると、力が入って加速を感じる。

メタクッキー
視覚と嗅覚を使って味覚を錯覚させる。
拡張満腹感

扇情的な鏡
感覚も生成できる。にっこり笑って返す鏡で感情を起こせる。

8.2 システムの評価と設計

8.2.1VRの人体への影響

(1)自律神経系からみた人体影響評価

若い人程早く影響が出て、回復する。
高齢な人程ゆっくり影響が出て回復しにくい。
２時間のHMD使用に置いてHFリラックス低下、興奮上昇

HF(High Frequency)
副交感神経の活動
呼吸周波数の0.3Hz付近に現れる時間的ゆらぎ成分。

LF
0.15Hz以下に現れる成分。心拍数がゆっくり変動
LF/HF交感神経活動

(2)視機能から見た人体影響変化

調節、対光反応、屈折力、眼圧など10項目
3DCGの連続視聴に対して、調節力が低下する。

(3)VR酔い

感覚情報の統合に不備(矛盾)がある場合
人間にとってのエラー反応が起こる。
感覚の統合機能が優れている人の方が車酔いが起こりやすい。
8Kになると飛び出て見える人がいる。輻輳が手前であってしまう。

8.2.2福祉のためのVR

(1)可塑性と経験という視点
医療と異なり、人間は改造しない
・生活機能の支援
・身体機能の支援

ユニバーサルデザイン
バリアフリーデザインというのは若い可塑性がある人の考え方。
お年寄りは経験性があるが、つぶしが聞かない。ジェロンテクノロジー。
ジェロンテクノロジー(高齢者支援技術)の方に福祉工学は寄っている。

(2)ICT利用とVR

ICT:情報コミュニケーション技術
ICT+VRの活用→医療サービスの分散や在宅雇用の拡大化

(3)IRT利用とVR

IRT+VRの活用→介護負担の軽減、移動手段の多様化

8.2.3感覚の補綴と拡張

目が見えない、耳が聞こえない場合に触覚で文字や音を伝える。
東大の福島先生(盲聾)だけれど電話をかけると、指点字で翻訳されて伝えられる。
身体と感覚器を分解することによって、感覚機能を補綴する。

(1)感覚の補綴

「情報変換」と「感覚ディスプレイ」が研究開発の中心
・タクタイルエイド
音声→触覚
文字→触覚
音声→文字

・触覚ジョグダイヤル
文字を高速音声に、非文字を触覚に

・障害物知覚
環境の構造をVR音源に

人工内耳と脳幹インプラント
人工網膜と人工視覚
光ったという概念は伝えられるが、形は伝えられない。形は後天的に形成される概念で先天盲の人には形という概念が伝えられない。

(2)感覚の拡張

バーバル情報、ノンバーバル情報を分析、認識してユーザが理解できる情報で答えるという技術

8.2.4運動の補綴と拡張

(1)運動・発生のリハビリ

電極で前庭感覚を刺激してバランス支援
透過型HMDを利用して3D画像で進む方向を指示
視野の片側の一部が知覚されない半側空間無視にHMDを利用して知覚範囲を広げる。

ウェアラブル人工喉頭
声帯をとった人の喉に発信器をあてる。口の開け閉めであいうえおと言えるようになる。音のものとなるものを外からの機械振動で与える。

電子義手

(2)運動の拡張

BMI(Brain Machine Interface)
脳から直接に運動制御のための信号を検出し、外部の人工の手足を制御させる。

8.3 文化と芸術を生み出すVR

8.3.1メディアの進化

絵画 「アルタミラの洞窟」
↓
写真 19c前半
↓
映画　19c後半
↓
TV 20c半ば
↓
マルチメディア　20c後半
↓
VR 1989
SIGGRAPHアジアのKeynoteでInside Headの監督がどうストーリーを伝えるかについて話した。全部絵で話をどう進めるかを議論していた。

8.3.2高臨場感メディアと超臨場感メディア

「超」臨場感メディアとは「高」臨場感メディアの次に来るメディアであって、高精細度映像やVRを超えて存在するメディア
マルチメディアの本質はインタラクティブ→VRへ
スーパーハイビジョン→HDVR→超臨場感メディア

例：日食体験とは太陽が書ける所を見ることだけではない。

全体が暗くなるのが、夜になる感覚が日食の醍醐味である。
電子メディアでそれが伝わるのか。

「超」には2つの意味がある。

超　→Super
より高度のもの(連続的進化)
いわゆる高臨場感の延長
　　→Meta
別のもの(不連続進化)

Metaの例
SmartFace：テレカンファレンスにおける創造性の向上
相手の顔が笑っているように見せると、ブレストで出るアイデアが増える。

8.3.3体感メディアと心感メディア

体感メディア：誰でもわかる
心感メディア：心の中に共有されている何かがあり、想像力によって膨らませる
目に見えるものだけでなく、眼に見えないものを大切にする技術の発展。

8.3.4かけがえのあるメディアと、ないメディア

本物を不要にするのではなく、本物を大切にする技術として発展する。

8.4 VR社会論

VRという技術やその出力が社会の既存制度とどんな相互作用をもつようになるのか。
VRに似た者から類推する。

8.4.1VRの社会的受容

法律を考える必要。
VRを法制度がどこまで信用するか。
訴訟証拠の有効性

ドーバート基準
①当の証拠はテスト可能である
②当の理論または理論はピアレビューを受けており、出版されている。
③当の技法についてはその誤りの確立は既知か計算可能
④当の技法については関連する科学者共同体において一定の水準で受容されている。(VR学会がこれにあたる)

フライ基準
上の④

8.4.2VRの社会化

(1)プラットホームとしての位置づけ

①伝達された空間
遠隔制御ロボット

②構成された現実空間
共同設計

③構成された超現実空間
アミューズメントアート

(2)プライバシーの保護、表現の自由

電気系の学問からすると情報系と通信系は水と油

通信→通信の秘密→コンテンツ保護→プライバシ保護(ex NTT)
監視システムの社会科阻止

放送→表現の自由→コンテンツの自由→情報公開→社会の透明性向上(ex NHK)
通信系は情報にノイズを入れたがらない。
情報系は情報を変えたがる。

VRの立場は特殊。
ISP(Internet service Provider)はどちらか。
Notice and Take Down

米国　デジタルミレニアム著作権法
日本　プロバイダー責任制限法
ユーザー間に紛争が生じた時にユーザー規律のためにISPが持つべき責任の定義

8.4.3VRの乱用、悪用

開発者の意図を超えて別の目的のために使われる
「ビッグ6」：セカンドライフ内のルール

8.4.4VRにかかわる知的財産権

知財の発生場所

知財権
著作権　ソフト
特許権　ハード

著作権は守るための権利
特許権は使ってもらうための権利(あまり値段を高く設定すると使ってもらえなくなる)
ex　ライト兄弟が飛行機の特許を強力なものにしたせいで、飛行機をしばらく作れなかった。第二次大戦で各国で破られた。

8.5 VR産業論

8.5.1ゲームとVR

コンテンツ産業　年間14兆円(書き換えられるらしい)
VRはインタラクティブメディアの牽引車的存在
テレビはB2B
ゲームはC2C
注意すべきはこれまでインタラクティブなメディアの大きいものはなかった。

ゲーム概念の拡大
シリアスゲーム
Edutainment

IT業界のパラダイムシフト
→産業全体がコンテンツ中心になるだろうと見ていることは確かだろう。
本来隆盛を極めるはずの映像産業が苦しんでいる。当時の3Dコンテンツが良いものがあまりなかった。

1985年　telnetの時代

インターネット前夜。つながるのが嬉しい。

1995年　Webの時代
内容を入れるための枠組みの時代。
閲覧ソフトの時代。コンテンツって言われたけど、Webの仕組みが面白かった。

2005年　Web2.0の時代
SNS,Blog
内容の時代。コンピュータ知らない人が使い始めた時代。

→大量検索の時代へ

8.5.2アートへの展開

アートと産業
ものの豊かさから心の豊かさへ
空港の設備にアートを入れると、空港の付加価値向上につながる。
都市空間の平米当たりの価値を上げるためにアートが使われる。

「保存」と「展示」のジレンマ
大宮市では鉄道博物館の経済効果は100億円
VRにとっては博物館はハードルが高い。博物館はモノ重視で、VRはコトだから。
→電車の思い出覗き窓。(デジタルジオラマ)
博物館は敷居が高いけど、BtoBの交渉はできる。

8.5.3省資源・省エネルギー・安心安全に貢献するVR

(1)バーチャルリアリティによる設計・製造

資源やエネルギーを無駄にせず個人のニーズに合わせる
VR内で個人にカスタマイズ→究極のテーラーメイド
障害も個人のバラエティの範囲に収め得る

(2)アールキューブ

Real-time Remote Robotics：実時間遠隔制御ロボット技術

(3)安全知能と非匿名性と情報の付加

[安全知能]

人間が見逃した危険もロボットが回避

[非匿名性]

介護の現場でロボットに入っているのが誰かわかるようにする。

[情報の付加]

現実世界に情報を付加
あらゆる人々が日常の生活において強化された情報を享受することが出来る

8.5.4「いきがい」を生み出す産業にむけて

(a)生き甲斐を失うような精神的・肉体的状態に陥るのを未然に防ぐ
(b)他者への貢献や創造活動に対するモチベーションを支援する
(c)分化や楽しみを作り出す

VR、テレイグジスタンスへの課題
課題１
人間に対するストレス、負荷の適正化
人間をタフにする支援システム
疲労・ストレス状態を日常生活の中で自然に計測する技術

課題２
小さな創造活動を支援する環境の提供
ハードウェアの創造支援環境
個々人の創造を集結する仕組み(オープンソース　ハードウェア)

課題３
社会・分化への貢献を支援する環境の提供
創造へ向かわせる環境
体験シミュレータ
技術の伝承

課題４
孤立しない環境
死の直前までやりがいを持って働き続けられる在宅にしてバーチャルなオフィス勤務
VRによる距離の克服と一人暮らし問題の解決

課題５
分化の創出・レジャーの支援
楽しみを作り出す環境
体験シミュレータ
VR旅行
新しい記録の利用法

観光産業
外国人観光客2000万人時代に
観光産業の規模は20兆円
自動車産業とほぼ同規模

非常に安定した需要がある。(3.11の年も安定していた)
国際的に見ると、まだまだ成長の可能性が大きい。まだ全然国際化してないから。
問題は資本装備率の低さ、生産性の低さ

VRがどう食い込んで行くか。
東京文化資源区構想も考えられる。

86
86
1

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
86
86