はじめに
ICCV 2021より以下の論文
[1] S. Peng, et. al. "Animatable Neural Radiance Fields for Modeling Dynamic Human Bodies". ICCV2021
のまとめ
-
projectページ：
https://zju3dv.github.io/animatable_nerf/ -
公式コード：
https://github.com/zju3dv/animatable_nerf
商用利用不可
概要
- 他視点のRGBカメラから同時に動画を撮影し、それらから人の3Dモデルを再構築するしくみ
- 人の3D骨格モデルとNeRFを結びつける blend weight fields なるものを新たに導入した
以下の図([1] Figure1)では、
手法
全体像
${\rm x}$: observation-space における３次元座標
$T_i({\rm x})$: observation-space から canonical-speceへの座標変換。
$\gamma_{\rm x}$: 空間上の positional encoding
外観する。まず左端はあるフレームにおける人の状態をあるカメラから注目した状態で、図では右手指先付近の x に注目している。
これをその右 neural blend weight field に入力すると、x の重みが出力される。この重みは各関節にどの程度付随するかを示したような値。このとき neural blend weight field にフレーム固有の情報を与えるため、latent code も同時に入力している。
これと x 、さらに人の骨格モデルから、いわゆる T-pose である決められた姿勢の指先位置である x' が出力される。
この x' をNeRFに入力し、密度、カラーを出力する。
Representing videos with neural radiance fields
まずこの部分。
このfieldではNeRF論文[2]ごとく、位置を入力して密度などを出力する。NeRFとの違いは、入力するデータが x でなく、canonical spaceに変換した $T_i({\rm \bf x})$ である点。
(\sigma_i({\rm \bf x}), {\rm \bf z}_i({\rm \bf x})) = F_{\sigma}(\gamma_{\rm \bf x}(T_i({\rm \bf x}))), \tag{1}
${\rm \bf z}_i({\rm \bf x})$ は以下の図の赤い円内の部分だろう。（Fig9に加筆）
このshape feature z と向き $\gamma_{\rm \bf d}$ などを入力として、カラーを推定する。
ここでNeRF論文[2]とは異なり、frameごとの latent code ${\bf \ell}_i$ も入力する。
{\rm \bf c}_i({\rm \bf x}) = F_{\rm \bf c}({\rm \bf z}_i({\rm \bf x}), \gamma_{\rm \bf d}({\rm \bf d}, {\bf \ell}_i))
図にするとこんな感じか。（Fig9に加筆）
neural blend weight field
このあたりの部分。
今回のモデルでは SMPL などのshapeモデルをベースにobservation space の各点 x を canonical spaceへの変換を行う。その際に shapeモデルの各関節における transform に対して各点 x がどう追随するかが問題となる。
この observation space の各点 x が各関節に対してどれくらい影響を受けるかを重み ${\rm \bf w}_i ({\rm \bf x})$ とすると、これを以下の様に考える。
{\rm \bf w}_i ({\rm \bf x}) = {\rm norm} \left( F_{\Delta {\rm \bf w}} \left( {\rm \bf x}, {\bf \psi}_i \right) + {\rm \bf w}^{\rm s} \left( {\rm \bf x}, S_i \right) \right) \tag{5}
ここで
$F_{\Delta {\rm \bf w}}$: neural blend weight field による変換だが、具体的にはMLP。
${\bf \psi}_i$: フレームごとのlatent code
$S_i$: 統計的な体のモデル。例えばSMPL。
${ \rm \bf w}^s$: 統計的な体のモデルに基づいて計算されたblend weightの初期値
${\rm norm}({\rm \bf w}) = {\rm \bf w} / \sum w_i$
まず右辺第２項からみると、フレームごとの統計的な体のモデルを用意し、それらから重みの基準値を算出する。その際にまず x から最も近傍となるポリゴンの面を特定する。この面を囲む３点にはshapeモデルにより重みが割り振られている。よって３点から内挿することで重みが求まる。
次に１項目で差分を求めるが、ここで neural blend weight field $F_{\Delta{\rm \bf w}}$ を用いる。このネットワーク構造は以下。（Fig10より）
最後にそれらを正規化して重みとする。
骨格モデルを用いた変形
このあたりの部分。
まず諸々定義。
${\rm \bf J} \in \mathbb{R}^{K \times 3}$: 骨格モデルにおけるK個の関節位置。
${\rm \bf \theta} \in \mathbb{R}^{3(K+1) \times 1} = [{\bf \omega}_0^T, \cdots , {\bf \omega}_K^T]$: 各関節における親関節からの相対的な回転角で、Rodrigues表示。
${\rm \bf \theta}_c$: canonical poseにおけるθ
${\rm \bf \theta}_c$: observation poseにおけるθ
とすると、Rodriguesベクトルから作成した 3x3 の回転行列は
R({\rm \bf \omega}_i)
となる。ある関節 k は親関節の軸に対して R 回転させ、かつ親関節の位置の分変位させたものとなるので、その１回のaffine変換は同時座標系で
\begin{bmatrix}
R({\rm \bf \omega}_k) & {\rm \bf j}_k \\
0 & 1 \\
\end{bmatrix}
となる。これをkinematic treeに従って繰り返せば、k 番目の関節に対する変換行列が求まる。
A_k ({\rm \bf J}, {\rm \bf \theta}) = \prod_{i \in P(k)}
\begin{bmatrix}
R({\rm \bf \omega}_i) & {\rm \bf j}_i \\
0 & 1 \\
\end{bmatrix}
\tag{11}
$P(k)$ は関節 k に対する kinematic tree での親関節群。
まず canonical pose から曲げてないゼロの状態にした後に変換し、そこから observation poseまで変形するという過程を踏むと、canonical pose から observation poseまでの変換が求まる。
G_k = A_k ({\rm \bf J}, {\rm \bf \theta}_t) A_k ({\rm \bf J}, {\rm \bf \theta}_c) ^{-1} \tag{10}
k 番目の関節に対しては observation spaceの位置に対して $G_k^{-1}$ をかければ canonical spaceの位置が求まる。
一方でそれ以外の点に関しては、(5)式で求めた重みを用いれば
{\rm \bf x}' = \left( \sum^K_{k=1} w^o({\rm \bf x})_k G_k \right)^{-1}{\rm \bf x} \tag{4}
と求まる。
loss
まず学習対象のパラメータは
- NeRFのニューラルネット $F_{\sigma}, F_c$
- neural blend weight fields のニューラルネット $F_{\Delta {\rm \bf w}}$
- appearance code $\ell_i$
- latent code $\psi_i$
である。それに対して loss は以下の２種類。
レンダリングしたカラーによる loss
$\tilde{\rm \bf C}_i ({\rm \bf r})$: NeRFによってレンダリングした画像上の色
${\rm \bf C}_i ({\rm \bf r})$: 実際に観測した画像上の色
として、これらのL2を求める。
L_{rgb} = \sum_{r \in \mathcal{R}} \| \tilde{\rm \bf C}_i ({\rm \bf r}) - {\rm \bf C}_i ({\rm \bf r}) \|_2
\tag{6}
$\mathcal{R}$ は画像上の全ピクセルを通過する光。
neural blend weight に関する loss
observation space における x とそれを canonical space へ変換した x' とは体の同じ部分のはず。よって前者の neural blend weight と後者の neural blend weight ${\rm \bf w}^{\rm can}({\rm \bf x}')$ とは一致するはず。よってこの両者の差を loss とする。
L_{nsf} = \sum_{{\rm \bf x} \in \mathcal{X}_i} \| {\rm \bf w}_i ({\rm \bf x}) - {\rm \bf w}^{\rm can} \left( T_i \left( {\rm \bf x} \right) \right) \|_1
\tag{7}
$\mathcal{X}_i$ はフレーム i における人の体からサンプリングされた 3D座標。
新たなポーズにおける画像生成
新たなポーズにおける画像を生成する際には(5)式のSに新たなポーズを入れて重みを求め、それを(7)式で最適化させる。
実験と結果
学習方法
- 最適化：Adam
- 用いたvideoは3つのviewからの300frames
- 新視点におけるパラメータ調整部分を除くと4枚の2080Tiで12時間
- 新視点におけるパラメータ調整部分は上記スペックで30分
使用したデータセット
- H36M
- ZJU-MoCap
zju-MoCapはdeformableなNeRF系のデファクト・スタンダードになりつつある。
メトリクス
- PSNR
- SSIM
この２つのメトリクスはこの分野のデファクト・スタンダード。
定量的評価１ 新視点からのレンダリング
新視点からのレンダリングタスクにおいて、同じくSMPLを用いた1)NT(Neural Textures), 2)NHR, 3)NB(Neural Body)との比較は以下。
NB(Neural Body)以外には勝っている。
定量的評価２ 新ポーズのレンダリング
こちらはNT(Neural Textures)とNHRとの比較。
安定的に勝っている。
定性的評価
新ポーズのレンダリング・タスクでNT, NHR, NBと比較した結果は以下。
左側がH36M, 右側がzju-MoCap。やはり Neural Body の方が若干よい。
reference
[2] Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view syn- thesis. In ECCV, 2020.