Apple Vision Pro には Persona という、自分のリアルアバターを作成・使用する機能があります。
これを使うことによって、Vision Proを被っている状態でも、あたかも被っていない状態の自分の顔でWebミーティングに参加することなどができます。
ただ、この Persona は相手側も Vision Pro でないと立体で見ることができません。また、現状はAppleもPersonaの3D情報を直接取得するAPIを公開していません。
そこで今回はかなり無理矢理ではありますが、Vision ProのPersonaを裸眼立体視することが可能なLooking Glass Goを使って表示させてみました。
ちなみに、こちらの実演は先日行われた国内HCI系カンファレンスであるWISS2024のスポンサー（フューチャ株式会社）ブースにてデモしました。
今回の検証の全体構成
Apple Vision Pro
事前準備
まず、Vision Proで自分のPersonaを作成しておきます。
実行時
FaceTimeを起動して、下記のMacBook Pro側のユーザーに対して通話開始します。
Apple MacBook Pro
事前準備
OBSを導入しておきます。
Depth Anything V2のCoreMLサンプルをcloneし、入力元をOBSのVirtual Cameraへ修正しておきます。これは、入力元の2D動画情報からリアルタイムに深度情報を推論するものになります。
実行時
OBSを起動し、FaceTimeの画面が中央に来るように配置し、Virtual Cameraを起動します。
修正済のDepth Anything V2のCoreMLサンプルを起動し、全画面で表示します。
NucBox G5へScreen Mirroringで繋ぎます。（NucBox G5側の「実行時」を行った後）
GMKtec NucBox G5
超コンパクトなPCです。ほぼiPhoneに隠れるサイズです。
事前準備
AirServerを導入しておきます。これは、AirPlayサーバの機能があるものです。
Refractを導入しておきます。これは、RGBDでPCに表示されているものをLooking Glassへ立体で表示させるためのものです。
Looking Glass Bridgeを導入しておきます。これは、Looking Glassに接続するためのものです。
実行時
AirServer、Refract、Looking Glass Bridgeを起動します。
Looking Glass Go
事前準備
NucBox G5とLooking Glass GoをHDMI→USB Type-C変換アダプタ経由でUSBケーブル(Looking Glass Goに付属のUSB Type-Cケーブル)で繋いでおきます。
まとめ
元となるFaceTimeで受信した画像の品質が良い場合はかなり立体的に表示されることが確認できました。
WISS2024の会場でデモした際には、自社で持ち込んだWiFiルーターを使ったため、FaceTimeでかなり画像がガビガビになってしまい、残念ながら品質は良くありませんでした。