pixel-NeRFのセットアップ方法

0．pixelNeRFの概要

github
Project Page

1. pixel-NeRFディレクトリを作成

git clone https://github.com/sxyu/pixel-nerf.git
cd pixel-nerf

2. データの用意

• データセットには、ShapeNet 64x64，datasetsrn_cars， srn_chairs，dtu，multi_chairの5種類がある（と思われる）

• 今回のセットアップではdtu datasetを用いる

2-1. dtu datasetのインストール

こちらから、dtu_dataset.zipをインストール

• インストール時のフォーマットは以下の通り．

/project_dir/rs_dtu_4/DTU/
    scan1/
        image/
            00000000.png
            00000001.png
            ...
        cameras.npz

• image/：観測視点ごとの画像．

• camera.npz：各画像に対応するカメラパラメータを格納したファイル．

• <project_dir>/rs_dtu_4 のようにディレクトリ構造がなるようにフォルダを整理

2-2.　事前学習済みファイルをインストール

• <project_dir>/checkpoints/dtu/pixel_nerf_latestのようにディレクトリ構造がなるようにフォルダを整理

3. 仮想環境を構築

3-1. 仮想環境を作成

Anaconda Promptで

conda env create -f environment.yml

3-2. 仮想環境に入る

Anaconda Promptで

conda activate pixelnerf

離脱するときは

conda deactivate

3-3. パッケージをインストール

Anaconda Promptで

pip install -r requirements.txt

GithubのReadmeにはinstallの文字が抜けているので注意！

4. 推論

Anaconda Promptで

python eval/gen_video.py  -n dtu --gpu_id=<GPU(s)> --split val -P "22 25 28"  -D <data_root>/rs_dtu_4 -S 3 --scale 0.25

GithubのReadmeは'22 25 28'となっているが，"22 25 28"のようにダブルクオートで括る必要がある．

• "22 25 28"はrs_dtu_4/DTU/scan31/image内のファイル名（インデックス）になっている．この3枚の画像が推論に用いられる．
• GPU(s)には使用するGPUのidを入力する．

後記

評価実験の部分は実行次第，追記予定．(2024.12)