一つのアプリでStructure from MotionからGaussian Splatting
1つのアプリケーションで、画像のメタデータチェック、キーポイント抽出、マスク生成、マッチング、3次元構成、そしてGaussian Splattingまでの3D再構築処理を一元管理できるツールを作りました。
Githubレポジトリ
概要
これまで、3D再構築を行う際は、各処理を個別のツールで実施していました。今回作成したアプリは、以下の一連の処理を1つのアプリケーション内で完結できるようにしています。
-
画像のメタデータチェック
画像ファイルから必要なメタデータを確認します。 -
キーポイント抽出
画像から特徴点を抽出し、後続のマッチング処理に備えます。 -
マスク生成
必要に応じて、画像に対してマスク処理を行います。 -
マッチング
抽出した特徴点を用いて、画像間の対応関係を算出します。 -
3次元構成
マッチング結果から、カメラ位置やシーンの3D構造を再構築します。 -
Gaussian Splatting
再構成された3Dデータを、Gaussian Splatting技術によりレンダリングします。
使用技術
本プロジェクトでは、以下のオープンソースプロジェクトを活用しています。
これらの技術を組み合わせることで、高精度な3D再構築とリアルタイムレンダリングを実現しています。
Dockerでの動かし方
環境構築が不要な Docker イメージ inuex35/splat_one を利用すれば、簡単に動作させることができます。以下のコマンドを実行してください。
docker run --gpus all \
-e DISPLAY=host.docker.internal:0.0 \
-v /tmp/.X11-unix:/tmp/.X11-unix \
-v ${PWD}/dataset:/source/splat_one/dataset \
-v C:\Users\$env:USERNAME\.cache:/home/user/.cache/ \
-p 7007:7007 \
--rm -it \
--shm-size=12gb \
inuex35/splat_one
コンテナに入ったら
python main.py
でGUIが起動します。
最後に
開発中なのでバグ等あります。issueに挙げてもらえばなるべく早く直しますが、個人開発なので修正したらプルリクいただけると助かります。