簡単に言うと、これは何？

Orbeez-SLAMは、カメラが捉えた映像を使って、リアルタイムで周囲の3Dマップを作成できるシステムです。これまでの手法よりも速く、新しい環境にもすぐに対応できます。既存のORB-SLAMという技術と、即時レンダリングが可能なNeRF技術を組み合わせています。

詳しい説明

\begin{equation*}L_{rpj}= \sum\limits_{ij}\Vert u_{ij}-\pi(\mathscr{C}_{j},P_{i})\Vert_{2} \tag{6}\end{equation*}

ここで、

uij : 画像j上の点iの画素位置
Cj : カメラjの姿勢(内参行列と外参行列)
Pi : 3D空間上の点i
π : 投影関数で、3D点PiをカメラCjの姿勢に投影する
3D点PiをカメラCjの姿勢で画像平面に投影した位置と、実際に観測された画素位置uijの誤差をすべての点について計算し、その二乗和を最小化することでカメラ姿勢Cjを推定しています。
三角分割によるマップポイントを生成し
カメラのポーズとマップポイントの最適化はbundle adjustment を行う

\begin{equation*}\min\limits_{\{[R\vert t]_{j}\},\{P_{i}\}}L_{rpj} \tag{8}\end{equation*}

最小化問題は、Levenberg-Marquardt法を用いて解いています。