はじめに
UIST 2025で発表された「GaussianNexus」を紹介します。3D Gaussian Splatting（3DGS）は高品質だけど静的シーン向け、という弱点を「再学習しない」設計で回避し、テレプレゼンスに持ち込んだ研究です。
論文情報
- タイトル：GaussianNexus: Room-Scale Real-Time AR/VR Telepresence with Gaussian Splatting
- 著者：Xincheng Huang, Dieter Frehlich, Ziyi Xia, Peyman Gholami, Robert Xiao（University of British Columbia）
- 学会：UIST '25
- DOI：https://doi.org/10.1145/3746059.3747693
- デモ動画：https://www.youtube.com/watch?v=Zhwz78TgYaw
※本記事は筆者による要約です。正確な内容は原論文を参照してください。
3行まとめ
- 3DGSでローカル環境を事前に再構成し、VR側の遠隔ユーザーが部屋の中を自由に歩ける
- 動く物体はあらかじめ3DGS上で切り出しておき、実行中は 再学習せず姿勢推定だけ で更新
- 約2.33 fpsの更新、エンドツーエンド遅延約0.95秒、SUSスコア85
背景：既存手法の課題
| 手法 | 画質 | 空間的な操作・移動 |
|---|---|---|
| 360度動画 | ◎ 高解像度 | × 奥行きがなく移動できない |
| RGB-D再構成（点群・メッシュ） | △ ノイズ・欠損が多い | ◎ 自由に移動可能 |
| NeRF / 3DGS | ◎ フォトリアル | ◎ ただし 動的更新に再学習が必要 |
先行研究のSharedNeRFはNeRFを数秒おきに再学習して更新していましたが、卓上スケール限定で、更新も離散的でした。
アイデア：「動くもの」を事前に切り出しておく
GaussianNexusは更新を2種類に分けて扱います。
- 2Dの変化（ホワイトボード、画面など）：360度カメラの映像から該当領域を切り出して幾何補正し、指定した平面に貼る
- 3Dの変化（椅子、本など）：事前に3DGSから物体を切り出しておき、実行中は 位置と向きだけ 推定して動かす
重い処理（撮影・3DGS学習・セグメンテーション）を事前準備フェーズに寄せることで、実行時の再学習をなくしています。
システム構成
- ローカル（AR側）：HoloLens 2 ＋ Insta360 X3（Wi-Fiでサーバーへ配信）
- 遠隔（VR側）：Meta Quest 3（PC接続）
- サーバー：Core i9-12900KF ＋ RTX 4090
- 座標合わせ：壁に貼った2つのQRコードで現実空間と3DGS空間を対応付け
- 衝突判定・物理演算：3DGSとは別に、HoloLensで取得した空間メッシュを非表示で保持
事前準備
- 動画から300〜400枚程度を抽出し、COLMAPでカメラ姿勢推定 → 3DGS学習（全体で約30分）
- QRコードで実空間とスケール・軸を合わせる
- SAGA（Segment Any 3D Gaussians）とYOLOv11で、動かしたい物体を個別の3DGSとして切り出す
一度準備すれば、次のセッションで物体の配置が変わっていても再検出して追跡できます。
3D物体トラッキングの仕組み
単眼の360度映像から、物体の 4自由度（XYZ位置＋鉛直軸まわりの回転） を推定します。
- 2D検出とID管理：YOLOv11m-segで検出し、独自のID管理層でフレーム間の同一性・遮蔽・移動を判定
- 回転の初期推定：切り出した3DGSを45度刻みでレンダリングし、SuperPoint＋LightGlueのキーポイントマッチで最も一致する角度を選ぶ
- 微調整：レンダリング画像とカメラ画像の輪郭間のChamfer距離を損失にし、Powell法で位置と回転を最適化
- 平滑化：カルマンフィルタ＋線形補間で、更新間隔の間も滑らかに動かす
「レンダリングして比較する（analysis-by-synthesis）」形で姿勢を合わせているのがポイントです。
評価結果
| 項目 | 結果 |
|---|---|
| 描画 | 約140万スプラットのシーンをQuest 3向けに約75 fps |
| 部屋スケール物体（椅子など） | 位置誤差 平均9.9 cm／回転誤差 平均5.7° |
| 卓上物体（本など） | 位置誤差 平均7.5 cm／回転誤差 平均3.2° |
| 最適化時間 | 平均0.429秒（約2.33 fps） |
| エンドツーエンド遅延 | 平均0.951秒 |
9名のユーザースタディ（部屋のレイアウト検討タスク）ではSUSスコア85で、約1秒の遅延は気づかれるものの作業の妨げにはならなかった、という結果でした。
応用例
- 遠隔指導：卓上のパズルなどを2Dライブ映像で共有し、VR側から指示
- 部屋のレイアウト検討：ローカル側が実際に家具を動かすと、VR側の3DGSシーンでもほぼリアルタイムに反映
所感
- 3DGSの「静的シーン専用」という制約に対し、4DGSのような重い手法ではなく「剛体として切り出して姿勢だけ更新」と割り切った点が実用的
- 一方で、対象は事前登録した剛体に限られ、人や柔らかい物、新しく持ち込まれた物は扱えない
- 2.33 fpsの更新レートは今後の改善点として論文でも挙げられている
出典・ライセンス
本記事は以下の論文を筆者が要約・翻訳したものです（内容の正確さは原論文を参照してください）。
- Xincheng Huang, Dieter Frehlich, Ziyi Xia, Peyman Gholami, Robert Xiao. "GaussianNexus: Room-Scale Real-Time AR/VR Telepresence with Gaussian Splatting." UIST '25. https://doi.org/10.1145/3746059.3747693
- 原論文は CC BY-NC-SA 4.0 で公開されています。
- 本記事中の論文に基づく部分（要約・翻訳・図）も同ライセンスで提供します。
- 図は原論文より引用しています（Figure 1 など、番号を明記）。