はじめに

Deep Mindらが2024年にarXivに載せた以下の論文
[1] R. Gao, et. al. CAT3D: Create Anything in 3D with Multi-View Diffusion Models.
のまとめ

提出先は不明。

既に半年以上経っているので、以下のようなまとめ資料が存在

よって以下を中心にまとめる

１）これまでのDiffusion系3D生成モデルの分類とその欠点

最初期のDiffusionモデルを用いる3Dモデル生成である

DreamFusion
DreamTime
などは学習済みdiffusionを用いてSDS(score distillation sampling)手法でNeRF等の空間を最適化させる。この手法は以下の欠点がある。

zero123++
ImageDream
など、text-to-imageモデルを再学習させて多視点の画像を同時に生成する。ImageDreamは3D-self attentionを使っているという点で本手法と似ている。しかし以下の欠点がある。

本手法はこれまでの手法の組み合わせである。具体的には速度と精度のバランスを保ちつつ、様々なテクニックを取り入れて改善したものである。

まず、学習フェーズと推論フェーズにわけると、

Diffusionモデルを再学習

上図の左側のように大きく分けて２ステップ。

全体の一貫性を保つために、生成した多視点画像からNeRF空間上で3Dモデルを粗く学習させる。

NeRFの最適化は通常多くの時間がかかるが、本手法ではZip-NeRFのように簡略化された手法を用いることで最適化の時間を削減する。この過程は数分で終わるらしい。

以下、定性的評価の一例。

上段 input画像に対して、CAT3Dで生成した別角度画像が中央段、他のモデルによる同じ視点の生成画像が下段。

例えば右のワッフルの例では、DreamCraft3Dはヤヌス問題的なdistortionが発生しているが、CAT3Dでは一貫性が保たれている。