1. はじめに
本記事では、スマートフォンで撮影した動画を元に3D Gaussian Splatting(以下、3DGS)モデルを作成し、NVIDIA Omniverse(Isaac Sim)に取り込むまでの一連の手順を解説する。具体的には、nerfstudioを用いた3DGSの生成、生成したPLYファイルのUSDZ形式への変換、そしてOmniverse上での表示確認までを行う。
2. 手順
2.1 3D Gaussian Splattingの作成
2.1.1 3DGSの作成に用いるソフトウェア
3DGSの作成にはnerfstudioを用いる。nerfstudioではコマンドを数回実行するだけで簡単に3DGSの作成ができる。
2.1.2 nerfstudioの起動
erfstudioにはPythonライブラリ版とDocker版があるが、今回はDocker版を使用する。
カレントディレクトリを /workspace に指定して、Dockerコンテナを起動する。
docker run --gpus 'device=1' \
-u $(id -u):$(id -g) \
-v "$(pwd):/workspace/" \
-e HOME=/tmp \
-p 7007:7007 \
--rm \
-it \
--shm-size=12gb \
-e TORCHINDUCTOR_CACHE_DIR=/tmp/torchinductor_$(id -u) \
ghcr.io/nerfstudio-project/nerfstudio:latest
なお、筆者の環境はRTX 5060tiとRTX3060のデュアルGPU環境であるが、5060tiがトレーニング時に使用されるとCUDAやPyTorchのバージョンに起因するエラーが発生したため、RTX 3060を使用するようにGPUを指定した。--gpus 'device=1'
2.1.3 動画データをトレーニング用に前処理
今回はスマホでダンベルを360度から撮影した動画を使用する。
撮影した動画を、以下のコマンドで前処理する。
$ ns-process-data video --data workspace/videos/input.mp4 --output-dir workspace/colmap_output
Number of frames in video: 609
Extracting 305 frames in evenly spaced intervals
[04:06:44] 🎉 Done converting video to images. process_data_utils.py:227
[04:06:55] 🎉 Done extracting COLMAP features. colmap_utils.py:137
[04:07:58] 🎉 Done matching COLMAP features. colmap_utils.py:151
[04:19:26] 🎉 Done COLMAP bundle adjustment. colmap_utils.py:173
[04:21:03] 🎉 Done refining intrinsics. colmap_utils.py:184
[04:21:08] 🎉 🎉 🎉 All DONE 🎉 🎉 🎉 video_to_nerfstudio_dataset.py:149
Starting with 609 video frames video_to_nerfstudio_dataset.py:152
We extracted 305 images with prefix 'frame_' video_to_nerfstudio_dataset.py:152
Colmap matched 305 images video_to_nerfstudio_dataset.py:152
COLMAP found poses for all images, CONGRATS! video_to_nerfstudio_dataset.py:152
実行すると内部的にCOLMAP(複数の写真から、撮影したカメラの位置と被写体の3次元形状(点群)を復元するためのソフトウェア)が実行される。入力した動画はフレーム処理され、今回は305枚の画像として処理された。フレーム数は --num-frames-target で変更できるが、今回はデフォルトで実行した。
2.1.4 トレーニング(COLMAPの出力から3DGSモデルを作成)実行
2.1.3で出力先に指定したディレクトリを --data オプションに指定して、トレーニングを実行する。
ns-train splatfacto --data workspace/colmap_output --output-dir workspace/train_output
上記コマンドを実行すると、Webアプリ(ビューア)が起動する。
╭─────────────── viser ───────────────╮
│ ╷ │
│ HTTP │ http://0.0.0.0:7007 │
│ Websocket │ ws://0.0.0.0:7007 │
│ ╵ │
╰─────────────────────────────────────╯
ブラウザでアクセスすると、3DGSモデルの作成状況をリアルタイムに確認することができる。
コンソールに Training Finished と出力されたらトレーニング完了。
29991 (99.97%) 11.44 M 23.651 ms 212.861 ms 23.85 M
29999 (100.00%) 11.20 M
----------------------------------------------------------------------------------------------------
Viewer running locally at: http://localhost:7007 (listening on 0.0.0.0)
╭─────────────────────────────────────────── 🎉 Training Finished 🎉 ────────────────────────────────────────────╮
│ ╷ │
│ Config File │ workspace/train_output/colmap_output/splatfacto/2026-02-15_042150/config.yml │
│ Checkpoint Directory │ workspace/train_output/colmap_output/splatfacto/2026-02-15_042150/nerfstudio_models │
│ ╵ │
DGSモデルの作成が完了し、複数角度から確認できるようになる。
2.1.5 3DGSモデルのエクスポート
作成した3DGSモデルは、PLYファイル形式でエクスポートできる。Exportタブから Generate Commandを選択すると、エクスポート用のコマンドラインが表示される。
上記をコピーして実行する。
ns-export gaussian-splat --load-config workspace/train_output/colmap_output/splatfacto/2026-02-15_042150/config.yml --output-dir workspace/splat/
エクスポートに成功すると、指定したディレクトリにsplat.plyが出力される。
2.1.6 SuperSplatで出力した3DGSモデルを確認する
出力した3DGSモデル(.ply)ファイルをブラウザで利用可能な3DGS編集ツールSuperSplatに取り込んで確認する。
splat.plyをドラッグ&ドロップして正常に表示されればOK。
2.2 PLYファイルのUSDZ形式への変換
3DGSのPLYファイルは、そのままではNVIDIA Omniverseで扱えないため、NVIDIAが提供している「3DGRUT」というツールでUSDZ形式に変換する。
公式サイトの手順に従い、Dockerイメージをビルドして起動する。
git clone --recursive https://github.com/nv-tlabs/3dgrut.git
cd 3dgrut
docker build . -t 3dgrut
xhost +local:root
docker run -v --rm -it --gpus 'device=1' --net=host --ipc=host -v $PWD:/workspace --runtime=nvidia -e DISPLAY 3dgrut
変換を実行する。
python -m threedgrut.export.scripts.ply_to_usd ./splat.ply --output_file ./output.usdz
2.3 NVIDIA Omniverseに取り込む
2.3.1 NVIDIA Omniverseのダウンロードと起動
NVIDIA Omniverse(Isaac Sim)のビルド済みバイナリを以下のサイトからダウンロードする。
今回は Linux (x86_64) の 5.1.0 を選択。
ダウンロード完了後、zipを展開して以下のコマンドを実行する。
$ ./isaac-sim.selector.sh
Isaac-simを選択してSTART。
Isaac-simが起動する。
2.3.2 3DGSデータ(USDZ形式)の取り込み
File -> Openを選択肢、USDZファイルを開く。
すると、何やらモヤのようなのものが表示された。これは失敗しているのではないかという嫌な予感...
視点を移動し、モヤのようなものの中を探索すると、ダンベルらしきものを発見。
近づいていくと、無事にダンベルの3Dモデルが存在することを確認できた。
このモヤのようなものは、Omniverseに取り込む前にSuperSplatなどの3DGS編集ソフトで削除しておくべきだったようだ。SuperSplatであれば、削除したい範囲をドラッグ&ドロップで選択して Delete キーを押すだけで、簡単に削除できる。
3. まとめ
本記事では、スマートフォンで撮影した動画から3D Gaussian Splattingモデルを作成し、NVIDIA Omniverseへ取り込む手順を解説した。nerfstudioを用いることで、コマンド数回の実行で3DGSの生成が可能であり、生成過程はWebブラウザ上でリアルタイムに確認できる。出力されたPLYファイルは、3DGRUTを用いてUSDZ形式に変換することで、Omniverse上で読み込めた。
















