はじめに

仕事でも触れる機会がありそう？ということでXR周りについて整理してみました。
Apple Vision ProやMeta Quest3の発売や空間アートがニュースになったりなどなど、、XR(クロスリアリティ)にまつわる話題はことかかない今日この頃ですよね。
ゲームの文脈の中でXRが語られることが多いですが、本日は映像技術としてのXRを中心にまとめたいと思います。

ARとかVRってなんだろう

「体験」「没入」という言葉がキーになってくるんじゃないかなと思います。
それらを中心に、「どこで」をずらしてあげると、VRと呼ばれるようになったり、ARと呼ばれるようになったり。また、「どんな体験か」に社会的なものを帯びるようになるとメタバースと呼ばれるようになるんだと思います。

またXRはVRやARを包摂した大きな入れ物として考えています。

映像技術という枠組みでみてみると

映像作品を技術という視点で分けてみると大きく以下のように分けられるそうです。

実写撮影（Live-Action Filming）:

実際の環境やセットで俳優を使って撮影される映像。
映画、テレビ番組、ドキュメンタリーなどに広く用いられます。

アニメーション:
2Dアニメーション: 手描きまたはデジタルで作成される二次元のアニメーション。
3Dアニメーション: コンピュータを使用して作成される三次元のアニメーション。
アニメ映画、カートゥーン、CG映画などに使用。

VFX（ビジュアルエフェクト）:
実写映像に後からデジタル効果を加える技術。
合成、CGI（コンピュータ生成画像）、モーションキャプチャーなどが含まれる。

モーションキャプチャ:
実際の俳優の動きを捉え、それをデジタルキャラクターに適用する技術。
ビデオゲームやCG映画でのリアルなキャラクターの動きの制作に使われる。

CGI（コンピュータ生成画像）:
コンピュータを使用して生成される画像やアニメーション。
VFX、3Dアニメーション、ビデオゲームなどで使用される。

ストップモーション:
実際のオブジェクトや人形を小刻みに動かし、それを一枚ずつ撮影してアニメーションを作成する技術。

インタラクティブメディア:
ユーザーのインタラクションに反応て変化する映像。
ビデオゲームやVR（仮想現実）アプリケーションなどに使用。

インタラクティブメディア

従来のメディアが一方向でユーザーの介入を許さないメディア装置だとするとインタラクティブメディアは次の要素が含まれているものだと考えることができます。

双方向性（Interactivity）:
ユーザーとメディアの間の双方向の通信や相互作用。

ユーザーの参加（User Participation）:
ユーザーはメディアコンテンツの受動的な受信者ではなく、能動的な参加者。
ユーザーの入力、選択、またはフィードバックがメディア体験を形作る重要な要素。

コンテンツの変動性（Dynamic Content）:
インタラクティブメディアは静的ではなく動的。
ユーザーの入力に基づいてコンテンツが変化。
この変動性は、パーソナライズ、適応性、またはユーザーの行動に応じた応答として現出。

どういう技術で作られている

特にインタラクティブな体験を形作るための不可欠な感覚器としてのトラッキングとセンサー技術を見ていきます。

トラッキング技術

光学トラッキング:
外部カメラベース: カメラを使用してデバイスや特別なマーカーの位置を追跡します。例えば、VRヘッドセット用の外部センサー。

内部カメラベース（インサイドアウトトラッキング）: デバイス自体に組み込まれたカメラを使用して、周囲の環境を認識し位置を特定します。

赤外線（IR）トラッキング:

赤外線センサーを使用して、特別なIRマーカーやコントローラーを追跡します。これは、特にVRヘッドセットで一般的です。
磁気トラッキング:

磁場を利用してデバイスの位置を測定します。これは、特定の環境での使用に適していますが、金属の影響を受けやすいという欠点があります。

センサー技術

加速度計（Accelerometer）:
デバイスの加速度を測定し、傾きや動きを検出します。

ジャイロスコープ（Gyroscope）:
デバイスの回転や方向転換を測定します。これは、デバイスの向きを正確に追跡するのに重要です。

GPS（Global Positioning System）:
屋外での使用において、デバイスの地理的な位置を特定します。ARアプリケーションで特に重要です。

近接センサー（Proximity Sensors）:
デバイスの周囲の物体や表面との距離を測定します。

環境光センサー（Ambient Light Sensors）:
周囲の光の強さを測定し、画面の明るさを自動的に調整するのに使われます。