mask

「instantNeRFで遊ぶ Advent Calendar 2022」の21日目です。

今日は背景の影響を減らすmaskについて調べてテストデータを作り試しました。

業務外の個人的な検討活動です。

mask

instantNeRFには背景マスク処理する仕組みが準備されています。

学習データにおける透明は、学習済みモデルにおける透明への欲求を示す。無地の背景色を用いると、モデルは透明度（ゼロ濃度）ではなく、単純にその背景色を予測することで損失を最小にすることができます。背景色をランダムにすることで、モデルはランダムな色を「透かす」ためにゼロ密度を学習することを余儀なくされます。
https://www.deepl.com/translator

つまり計算機にズルさせないということかもしれないです。

テストデータ

sketchfabのNefertiti statueを使用させていただきました。ありがとうございます。

nerf_loader.cu

見つけられた範囲で5種類の仕組みがありました。

• alpha

• dynamic mask

• depth
  

• white transpararent

• black transparent
  

white transparent

試しに背景を白にしてBlenderで作成した画像を入力しました。
white transparentをfalseにすると背景の白色がそのまま残っていますが、trueにすると背景の白は除去されました。

プログラムを修正しなければ背景の白は255になっている必要があります。

プログラムを改造したらクロマキー合成の撮影技術を応用できそうです。