0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

動画から3D Gaussian Splattingを作成してNVIDIA Omniverseに取り込む手順

0
Last updated at Posted at 2026-02-15

1. はじめに

本記事では、スマートフォンで撮影した動画を元に3D Gaussian Splatting(以下、3DGS)モデルを作成し、NVIDIA Omniverse(Isaac Sim)に取り込むまでの一連の手順を解説する。具体的には、nerfstudioを用いた3DGSの生成、生成したPLYファイルのUSDZ形式への変換、そしてOmniverse上での表示確認までを行う。

2. 手順

2.1 3D Gaussian Splattingの作成

2.1.1 3DGSの作成に用いるソフトウェア

3DGSの作成にはnerfstudioを用いる。nerfstudioではコマンドを数回実行するだけで簡単に3DGSの作成ができる。

2.1.2 nerfstudioの起動

erfstudioにはPythonライブラリ版とDocker版があるが、今回はDocker版を使用する。
カレントディレクトリを /workspace に指定して、Dockerコンテナを起動する。

docker run --gpus 'device=1' \
    -u $(id -u):$(id -g) \
    -v "$(pwd):/workspace/" \
    -e HOME=/tmp \
    -p 7007:7007 \
    --rm \
    -it \
    --shm-size=12gb \
    -e TORCHINDUCTOR_CACHE_DIR=/tmp/torchinductor_$(id -u) \
    ghcr.io/nerfstudio-project/nerfstudio:latest 

なお、筆者の環境はRTX 5060tiとRTX3060のデュアルGPU環境であるが、5060tiがトレーニング時に使用されるとCUDAやPyTorchのバージョンに起因するエラーが発生したため、RTX 3060を使用するようにGPUを指定した。--gpus 'device=1'

2.1.3 動画データをトレーニング用に前処理

今回はスマホでダンベルを360度から撮影した動画を使用する。

frame_0032.jpg

撮影した動画を、以下のコマンドで前処理する。

$ ns-process-data video --data workspace/videos/input.mp4 --output-dir workspace/colmap_output
Number of frames in video: 609
Extracting 305 frames in evenly spaced intervals
[04:06:44] 🎉 Done converting video to images.                                                 process_data_utils.py:227
[04:06:55] 🎉 Done extracting COLMAP features.                                                       colmap_utils.py:137
[04:07:58] 🎉 Done matching COLMAP features.                                                         colmap_utils.py:151
[04:19:26] 🎉 Done COLMAP bundle adjustment.                                                         colmap_utils.py:173
[04:21:03] 🎉 Done refining intrinsics.                                                              colmap_utils.py:184
[04:21:08] 🎉 🎉 🎉 All DONE 🎉 🎉 🎉                                                 video_to_nerfstudio_dataset.py:149
           Starting with 609 video frames                                             video_to_nerfstudio_dataset.py:152
           We extracted 305 images with prefix 'frame_'                               video_to_nerfstudio_dataset.py:152
           Colmap matched 305 images                                                  video_to_nerfstudio_dataset.py:152
           COLMAP found poses for all images, CONGRATS!                               video_to_nerfstudio_dataset.py:152

実行すると内部的にCOLMAP(複数の写真から、撮影したカメラの位置と被写体の3次元形状(点群)を復元するためのソフトウェア)が実行される。入力した動画はフレーム処理され、今回は305枚の画像として処理された。フレーム数は --num-frames-target で変更できるが、今回はデフォルトで実行した。

2.1.4 トレーニング(COLMAPの出力から3DGSモデルを作成)実行

2.1.3で出力先に指定したディレクトリを --data オプションに指定して、トレーニングを実行する。

ns-train splatfacto --data  workspace/colmap_output --output-dir workspace/train_output

上記コマンドを実行すると、Webアプリ(ビューア)が起動する。


╭─────────────── viser ───────────────╮
│             ╷                       │
│   HTTP      │ http://0.0.0.0:7007   │
│   Websocket │ ws://0.0.0.0:7007     │
│             ╵                       │
╰─────────────────────────────────────╯

ブラウザでアクセスすると、3DGSモデルの作成状況をリアルタイムに確認することができる。

image.png

コンソールに Training Finished と出力されたらトレーニング完了。

29991 (99.97%)      11.44 M              23.651 ms            212.861 ms           23.85 M               
29999 (100.00%)     11.20 M                                                                              
----------------------------------------------------------------------------------------------------     
Viewer running locally at: http://localhost:7007 (listening on 0.0.0.0)                                  
╭─────────────────────────────────────────── 🎉 Training Finished 🎉 ────────────────────────────────────────────╮
│                        ╷                                                                                       │
│   Config File          │ workspace/train_output/colmap_output/splatfacto/2026-02-15_042150/config.yml          │
│   Checkpoint Directory │ workspace/train_output/colmap_output/splatfacto/2026-02-15_042150/nerfstudio_models   │
│                        ╵                                                                                       │

DGSモデルの作成が完了し、複数角度から確認できるようになる。

image.png

image.png

2.1.5 3DGSモデルのエクスポート

作成した3DGSモデルは、PLYファイル形式でエクスポートできる。Exportタブから Generate Commandを選択すると、エクスポート用のコマンドラインが表示される。

image.png

上記をコピーして実行する。

ns-export gaussian-splat --load-config workspace/train_output/colmap_output/splatfacto/2026-02-15_042150/config.yml --output-dir workspace/splat/ 

エクスポートに成功すると、指定したディレクトリにsplat.plyが出力される。

image.png

2.1.6 SuperSplatで出力した3DGSモデルを確認する

出力した3DGSモデル(.ply)ファイルをブラウザで利用可能な3DGS編集ツールSuperSplatに取り込んで確認する。

splat.plyをドラッグ&ドロップして正常に表示されればOK。

image.png

2.2 PLYファイルのUSDZ形式への変換

3DGSのPLYファイルは、そのままではNVIDIA Omniverseで扱えないため、NVIDIAが提供している「3DGRUT」というツールでUSDZ形式に変換する。

公式サイトの手順に従い、Dockerイメージをビルドして起動する。

git clone --recursive https://github.com/nv-tlabs/3dgrut.git
cd 3dgrut
docker build . -t 3dgrut
xhost +local:root
docker run -v --rm -it --gpus 'device=1' --net=host --ipc=host -v $PWD:/workspace --runtime=nvidia -e DISPLAY 3dgrut

変換を実行する。

python -m threedgrut.export.scripts.ply_to_usd ./splat.ply --output_file ./output.usdz

2.3 NVIDIA Omniverseに取り込む

2.3.1 NVIDIA Omniverseのダウンロードと起動

NVIDIA Omniverse(Isaac Sim)のビルド済みバイナリを以下のサイトからダウンロードする。

今回は Linux (x86_64) の 5.1.0 を選択。

image.png

ダウンロード完了後、zipを展開して以下のコマンドを実行する。

$ ./isaac-sim.selector.sh 

Isaac-simを選択してSTART。

image.png

Isaac-simが起動する。

image.png

2.3.2 3DGSデータ(USDZ形式)の取り込み

File -> Openを選択肢、USDZファイルを開く。

image.png

すると、何やらモヤのようなのものが表示された。これは失敗しているのではないかという嫌な予感...

image.png

視点を移動し、モヤのようなものの中を探索すると、ダンベルらしきものを発見。

image.png

近づいていくと、無事にダンベルの3Dモデルが存在することを確認できた。

image.png

このモヤのようなものは、Omniverseに取り込む前にSuperSplatなどの3DGS編集ソフトで削除しておくべきだったようだ。SuperSplatであれば、削除したい範囲をドラッグ&ドロップで選択して Delete キーを押すだけで、簡単に削除できる。

モヤ削除したい範囲を選択した様子:
image.png

モヤを削除した様子1:
image.png

モヤを削除した様子2:
image.png

3. まとめ

本記事では、スマートフォンで撮影した動画から3D Gaussian Splattingモデルを作成し、NVIDIA Omniverseへ取り込む手順を解説した。nerfstudioを用いることで、コマンド数回の実行で3DGSの生成が可能であり、生成過程はWebブラウザ上でリアルタイムに確認できる。出力されたPLYファイルは、3DGRUTを用いてUSDZ形式に変換することで、Omniverse上で読み込めた。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?