はじめに
3DIMPVT 2024より、以下のまとめ
[1] Tomas Jakab, et. al. Farm3D: Learning Articulated 3D Animals by Distilling 2D Diffusion
paper
https://arxiv.org/pdf/2304.10535
project page
https://farm3d.github.io
評価に関するコードのgithub
https://github.com/tomasjakab/animodel
概要
- 牛や馬など動物のあるカテゴリーに特化して、その種の3D形状を復元するしくみ
- １枚の画像を入力として、そこから3D形状、albedo、illumination、viewpointを推定する
- 学習データとして用いるのは、off-the-shelfなstable diffusionモデルから生成したもの、のみ
- 入力画像に対し、学習対象のencoderでshape, appearance, viewpoint(R, t), lightを推定し、それをrenderingロジックで再構築させ、reconstruction lossを求める
以下の図のでは、本論文のしくみで可能なことが明示されている。
図の左側では左側のinput画像１枚からその右側、shapeやそれにtextureを貼った3Dモデルが構築できている。さらにその右（Novel view）は、この3Dモデルを回転させたもの。
図の右側では推定した3Dモデルを変化させることにより可能となる応用例を表している。
一番上の例では、Input画像の馬に対し、その右、3D Assetと書かれた3D model が作成される。それに光源を変化させたものが右のRelitである。さらに、本3D model はposeも持っているので、その右のようなAnimatedのようにposeを変化させることが可能となる。
した2つの例は、Stable Diffusionに対して特定のpromptを与えて画像を生成し、その生成画像に対して3D modelを推定している。
モデル
全体像
以下がモデルの全体構造。
Generating Trainng Images
まず左の緑部分。
Stable Diffusionでtraining dataを生成させる。牛のカテゴリーなら、"cow"などのpromptを与える。"cow, walking away from the camera" などのpromptにすると、異なった向きの動物が得られる。
このStable Diffusion自体をカテゴリーで再学習させるか否かは明言されてないが、モデルの横に鍵マークがついてるので学習させないという意味か？
以下は生成したデータの例。
Articulated Category Model
次に真ん中の青い部分。
生成した入力画像をencoder $f_{\theta}$ に入れて、shape, appearance, viewpoint, lightを推定させる
入力画像：$I \in \mathbb{R}^{3 \times H \times W}$ として
(s, a, v, l) = f_\theta (I)
とそれぞれを推定させる。
Virtual Multi-view Supervision
次に右上のこの部分。ここが１番の特色か。
まず、encoderから出力されたviewpointとlightを変えた形でrendeingさせる。
\tilde{I} = R(s,a,\tilde{v}, \tilde{l}) = R \circ {\rm subst}_{\tilde{v}, \tilde{l}} \circ f_\theta (I).
以下の解釈に自信がないので、おかしいと思う方はコメントください。この向きと明かりを変えた3D modelをレンダリングしたものは、noiseを加えるとStable Diffusionで再構築できるはず。なぜなら、もともと同じStable Diffusionで生成されたものを変化させてるだけなので。ただし、その間 encoderを通っているので、encoderが正確に3D形状を復元できなければ、Stable Diffusionは再構築できないだろう。つまり、Stable Diffusionが再構築できるようにencoderを学習させれば、encoderは3D形状を正確に推定できるような学習をするだろう。
\nabla_\theta \mathcal{L}_{\rm SDS} (\theta | \tilde{v}, \tilde{l}, I, y) = \mathbb{E}_{t, \epsilon} \left[ w_t \cdot (\hat{\epsilon_t} (z_t | y) - \epsilon_t) \frac{\partial z_t}{\partial \theta} \right], \tag{2}
ここで
$z_t$：stable diffusionのdiffusion部分の t ステップの latent。
$\epsilon_t$：同 t ステップのノイズ
この（２）式は諸々省略されているが、以下で導かれるか？
\begin{eqnarray}
\nabla_\theta \mathcal{L}_{\rm SDS} (\theta | \tilde{v}, \tilde{l}, I, y) &=& \nabla_\theta \mathbb{E}_{t, \epsilon} \left[ w_t \cdot \| \hat{\epsilon_t} (z_t | y) - \epsilon_t \|^2_2 \right], \tag{2.1}\\
&=& \mathbb{E}_{t, \epsilon} \left[ w_t \cdot \frac{\partial}{\partial \hat{\epsilon_t}} \| \hat{\epsilon_t} (z_t | y) - \epsilon_t \|^2_2 \frac{\partial \hat{\epsilon_t}}{\partial z_t} \frac{\partial z_t}{\partial \theta} \right], \tag{2.2}\\
&=& \mathbb{E}_{t, \epsilon} \left[ w_t \cdot (\hat{\epsilon_t} (z_t | y) - \epsilon_t) \frac{\partial \hat{\epsilon_t}}{\partial z_t} \frac{\partial z_t}{\partial \theta} \right], \tag{2.3}\\
&=& \mathbb{E}_{t, \epsilon} \left[ w_t \cdot (\hat{\epsilon_t} (z_t | y) - \epsilon_t) \frac{\partial z_t}{\partial \theta} \right], \tag{2.4}\\
&=& \mathbb{E}_{t, \epsilon} \left[ w_t \cdot (\hat{\epsilon_t} (z_t | y) - \epsilon_t) \frac{\partial z_t}{\partial \theta} \right], \tag{2}
\end{eqnarray}
(2.2)式から(2.3)式において、2を $w_t$ に入れた。また(2.3)式から(2.4)式において、diffusionのUnetは学習させないので、$\frac{\partial \hat{\epsilon_t}}{\partial z_t}$ は $w_t$ に吸収。
Reconstruction losses
最後は右下のlossの部分。
左側はinput imageと再構築したimageとをmask（PointRendというモデルで作成するらしい）に通したものをVit-DINOというモデルで特徴量をとり、その特徴量でのlossを計算する。
右側ではmask同士でlossをとるのか？
それとは別に（？）、正則化項があり、SDFのEikonal lossを用いる。以下は論文中のlossの式だが、右辺シグマ内の第１項が特徴量ベースとmaskのlossか（？）。第２項が正則化項。
\mathcal{L}(\theta | \mathcal{D}) = \frac{1}{|\mathcal{D}|} \sum_{(I,M) \in \mathcal{D}} \mathcal{L}(f_\theta (I) | I, M) + \mathcal{R}(f_\theta (I)),
定性的評価
3D再構築の結果
以下は動物ごとの推論結果。かなり正確かつリアルな3Dが生成されている。
他のモデルとの比較
以下はMagicPonyモデルとの比較。
MagicPony*はrealなimageを学習データに混ぜたもの。realなimageにはocculusionや体が切れているものが多いため、結果がnoisyになるとの見解。本論文のしくみではSDからの合成画像しかつかわないが、このようなocculusionや体が切れる画像はほとんど生成されないらしい。
定量的評価
２種類の定量的評価を用いている。
- keypoint transfer・・・Pascal datasetのようなkeypointがついてる画像を入力し、正解との差を求める
- Chamfer distance・・・3D articulated animal datasetを用いて、3D shapeの正確さを求める
結果は以下。下２行が本論文の手法であり、一番下はSDS lossを除いたもの。
他のSOTAモデルと比肩し得る、という感じか。
この定量的評価のみを見ればSDS lossの効果は微妙〜。