はじめに

CVPR2018より以下の論文
[1] S. Zuffi, et. al. "Lions and Tigers and Bears: Capturing Non-Rigid, 3D, Articulated Shape from Images".CVPR2018
のまとめ

CVF open access:
https://openaccess.thecvf.com/content_cvpr_2018/html/Zuffi_Lions_and_Tigers_CVPR_2018_paper.html

著者のコード：
https://github.com/silviazuffi/smalr_online

概要

動物の3D-shapeを推定するモデル
SMALモデルに対し、動物の画像を用いてrefineすることで、より詳細なモデルを作成した
具体的には、画像中の動物におけるlandmarkとシルエットが推定した3D-shapeを画像にprojectしたものに適合するように、3D-shapeをrefineする
texture mapも生成できる

以下の図で下行が対象の画像、中央行がそれに対する推定したshape、上行がそれにtextureを貼ったもの。

背景

気になったところだけざっくりまとめ。

人の場合と異なり、動物のリアルなshape推定、motion captureなどは現状ではない
人の場合は3D-scannerを用いて形状のデータを得るが、野生動物だとそれが難しいからだ
これがあると、アニメでリアルな動きを再現したり、実験室の場で実験動物の動きを理解したり、動物の動きを真似たロボットを作成するのに役立つだろう

提案手法

SMALモデル

開始点のSMALモデル[2]について。このモデルは5種類の動物（猫・犬・馬・牛・カバ）の計41toysをスキャンして、それに適合するようにパラメータを調整することで作られている。

出来上がった全ての動物に対するテンプレートの頂点群を ${\bf v}_{template}$ として、ある特定の種類の動物（例えば猫）の典型的な頂点は

{\bf v}_{shape}(\beta) = {\bf v}_{template, 0} + B_s \beta \tag{1}

で得られる。ここで
$\beta$ ：PCAで次元圧縮したshapeを表すベクトル
$B_s \in \mathbb{R}^{20}$ ：βからshapeの変形ベクトルを復元するdeformation matrix

これで得られるのはrootの位置がworld座標上で　(0,0,0) かつ典型的な姿勢（いわゆるT-bone）をしたもの。これに対して任意の位置、姿勢における頂点群を表現するには

${\bf r}$ ：33個ある関節の親関節に対するロドリゲス角度。rootの関節はglobalなrotationを表す
${\bf t} = (t_x, t_y, t_z)$ ：root関節のtranslation
として、

{\bf v}(\beta, {\bf r}, {\bf t}) \tag{2}

となる。

SMALモデルを画像に割り当てる

ここは３step。
１）$f_x = 1000$ と想定してtranslationのz軸の値を求める
２）translationのz軸の値からtranslationとrotationを求める
３）求めたtranslationとrotationを初期値として、エネルギー方程式を解き、βを求める

1) translationのz軸の値を求める

まず各変数の定義
$I^{(i)}$ ：N枚ある動物が映った画像の i 番目
$S^{(i)}$ ：i 番目画像内の動物のシルエット
${\bf v}(\beta^{(i)}, {\bf r}^{(i)}, {\bf t}^{(i)})$ ：i 番目の画像内の動物の（２）式で表された頂点群のworld座標
${\bf K}^{(i)}$ ：n_k個ある画像上のlandmarkの座標の集合
${\bf k}^{(i)}_j, (1 \leq j \leq n_k)$ ：j 番目の landmarkの座標
${\bf v}_{K, j}, (1 \leq j \leq n_k)$ ：landmark の j に関連した頂点群の K 番目
$n_{H(j)}$ ：j 番目のlandmarkに関連した頂点の個数
${\bf f} = (f_x, f_y)$ ：focal length。1stepでは 1,000とする。
${\bf c}({\bf f}^{(i)}, {\bf r}^{(i)}, {\bf t}^{(i)})$ ：カメラ関連のパラメータ。r_cはカメラのrotation, t_cはカメラのtranslation。

z 軸のtranslationを求める。これは以下のようなものとする。

\hat{t_z^{(i)}} = f_x^{(i)} median \left( [\frac{\| {\bf v}_{K, h} - {\bf v}_{K, j} \|_2}{\| {\bf k}_{h}^{(i)} - {\bf k}_{l}^{(i)} \|_2}] \right) \tag{3}

ここで
${\bf v}_{K, h}$ ：landmark の h に関連した頂点群の平均値
${\bf v}_{K, l}$ ：landmark の l に関連した頂点群の平均値
としている。

括弧内の値を全てのlandmarkの組み合わせに関して計算し、そのmedianを求める。

まず(3)式右側カッコ内分子から考えると、landmarkのh に関連した頂点の3D座標の平均値と、別のlandmarkのkに関連した頂点の3D座標の平均値との間の距離を求めている。図にするとこんな感じか。

一方でカッコ内分母はlandmarkのkおよびhの座標を画像にprojectし、その画像内の距離を求めている。図にするとこんな感じか。

この（分子）：（分母）の比が　（z軸のtranslation）：（焦点距離）と大体一致すると考えると、（３）式が導かれるだろう。

2) translationと rotationを求める

次に translationとglobal rotationを以下の最適化問題を解くことでで求める。

\newcommand{\argmin}{\mathop{\rm arg~min}\limits}
\hat{{\bf t}^{(i)}}, \hat{{\bf r}^{(i)}_{0}} = \argmin_{{\bf t}^{(i)}, {\bf r}^{(i)}_{0}} \alpha_z (t^{(i)}_z - \hat{t^{(i)}_{z}}) + \sum^{\tilde{n^{(i)}_{K}}}_{j=1} \| {\bf k}^{(i)}_{j} - \frac{1}{n_{H(j)}} \sum^{n_{H(i)}}_{h=1} \Pi ({\bf v}({\bf r}^{(i)}, {\bf t}^{(i)})_{K,j,h}, {\bf c}^{(i)}) \|_2 \tag{4}

ここで $\Pi$ はprojectするオペレーター。

１つ１つ見ていく。

まず右辺第１項は求めるtranslationのz成分と先で求めた(3)式のtranslationのz成分との差。$\alpha_z$ に関しては論文中に言及が無いが、第２項との比重を考えた掛け率か。

右辺第２項はlandmark（的な値）を画像座標にprojectしたものと、実際にアノテーションされた画像上のlandmarkとの差。

より細かく見ると、

{\bf v}({\bf r}^{(i)}, {\bf t}^{(i)})_{K,j,h}

はlandmark 「j」に関する頂点 h をrotateとtranslateしてworld座標にしたもの。（$K$ は何を意味してる？？）

これとカメラパラメータ ${\bf c}^{(i)}$ とで画像上にprojectする。それの全てのlandmark 「j」に関する平均値を求める。

これがアノテーションした画像上の landmark 「j」の位置と一致しているだろうから、その差を求める。これを全ての landmarkに関して足す。

3) βを求める

以下のエネルギー方程式を解くことでβを求める。

\newcommand{\argmin}{\mathop{\rm arg~min}\limits}
\hat{\Theta^{(i)}} = \argmin_{\beta, {\bf r, t, f}} \sum^N_{i=1} (E_{kp} (\Theta^{(i)}) + E^{(i)}_{\beta}(\beta) + E_{cam}({\bf f}) + E_{sil} (\Theta^{(i)}) + E_{lim}({\bf r}^{(i)}) + E_{pose}({\bf r}^{(i)}) + E_{shape}(\beta^{(i)}) \tag{5}

ここで

\hat{\Theta^{(i)}} = (\beta^{(i)}, {\bf r}^{(i)}, {\bf t}^{(i)}, {\bf f}^{(i)})

以下１つ１つみていく。

$E_{kp}$ は推論した3D上のkeypointを画像上にprojectし、それと正解との差とする。

E_{kp}(\Theta^{(i)}) = \alpha_{kp} \sum^{\tilde{n_K^{(i)}}}_{j=1} \rho (\| {\bf k}^{(i)}_j - \frac{1}{n_{H(j)}} \sum^{n_{H(j)}}_{h=1} \Pi ({\bf v}(\beta^{(i)}, {\bf r}^{(i)}, {\bf t}^{(i)})_{K, j, h}, {\bf c}({\bf f}^{(i)}) \|_2) \tag{6}

先程の（４）式と同様だが、ここではβに加えて ${\bf r}^{(i)}, {\bf t}^{(i)}, {\bf f}^{(i)}$ が最適化対象の変数となっている。

次に $E_{\beta}^{(i)}$ だが、これは同じビデオに出てくる同じ馬はshapeが同じだろうという事前知識でβ同士で差をとる。

E_{\beta}^{(i)} = \alpha_{\beta} | \beta^{(i-1)} - \beta^{(i)} | \  for \  i>1 \tag{7}

$E_{cam}$ はf_xとf_yとの差をとるもの。

$E_{sil}$ はシルエットに関するloss。

E_{sil}(\Theta^{(i)}) = \alpha_{sil} \left( \sum_{{\bf x} \in \hat{S(i)}} \mathcal{D_S}({\bf x}) + \sum_{{\bf x} \in S(i)} \rho (\min_{\hat{\bf x} \in \hat{S^{(i)}}} \| {\bf x} - \hat{\bf x} \|_2 ) \right) \tag{8}

右辺カッコ内第１項の $\mathcal{D_S}$ はL2距離で、点 x がシルエット内であれば 0 とする。

右辺カッコ内第２項の $\hat{S^{(i)}}$ はprojectしたシルエット。正解のシルエット内の全ての点とprojectしたシルエット内の全ての点とのL2を考え、そのうちの最小のものを求めているので、重なっている部分は 0、一方に対してはみ出している部分は、他方との近傍点との差となる。

$E_{lim}$ は関節の角度に関する事前知識を利用したもの。つまり、こちらには曲がらない、という可動域を利用している。

E_{lim} ({\bf r}^{(i)}) = \alpha_{lim} (\max({\bf r}^{(i)} - {\bf r}_{max}, 0) + \max ({\bf r}_{min} - {\bf r}^{(i)} , 0)) \tag{9}

関節角度が r_max を超えるとlossとなるし、r_min を下回っても lossとなる。

$E_{pose}, E_{shape}$ はtargetと推定値とで、meanとcovarianceをL1の2乗で計算する。

SMALR

SMALRは ${\bf dv}$ 値を使ってSMALをrefineする。

{\bf v}_{shape}({\bf dv}) = {\bf v}_{template, 0} + B_s \hat{\beta} + {\bf dv} \tag{10}

この ${\bf dv}$ 値もエネルギー関数を最小化させることで求めるが、その際に上記で求めたパラメータは固定させる。

E_{opt} ({\bf dv} = \sum^N_{i=1} \left( E_{kp}^{(i)} ({\bf dv}) + E_{sil}^{(i)} \right) + E_{arap}({\bf dv}) + E_{sym} ({\bf dv})  + E_{lap}({\bf dv}) \tag{11}

新たに出てきた項に関してみると、$E_{arap}$ は[3]に出てくるもので、変形するにも局所的には出来るだけ固定するようにするloss。

$E_{sym}$ は左右をできるだけ対象にするloss。

$E_{lap}$ は dv 値のlaplacianを取り、スムーズにするloss。

textureの復元

以下の手順で動物の画像が与えられた時にtexture mapを復元する

SMAL modelに対して textureの座標系における UV mapを定義する
画像とそれに対応するmeshからtextureと各textureの位置におけるvisibility weight（ちゃんと見えてると1.0みたいな値？）を定義する
（複数の画像における？）加重平均でtexture mapを計算する。この段階ではどの画像にも映っていないtextureの部分がある
左右の対称性を利用し、texture mapを更新する。具体的には1)左右の対応するtexture上の点においては平均の画素とする、２）一方がどの画像にもない（つまりtexture mapで定義されてない）場合、対応する側の点の画素とする
この１）はシマウマ模様や斑点模様の部分には適応しない（おそらく左右で異なるだろうから）
これでもtexture map上で定義されない点に関しては、texture map全体の平均画素を割り当てる

以下はtigerの例。

どの画像からも見えない（例えば体の下部分）などは平均的な色で埋められている。

実験と結果

合成データに対する結果

馬とサイで検証した。以下の図の左側では、左列がシルエット、中央列がSMALをfittingさせたもの、右列がSMALRでrefineしたもの。

右側のグラフは横軸が画像数、縦軸はloss。画像が増えるとSMALRのlossがSMALのlossを安定して下回っている。

実データに対する結果

以下はリアルなサイに対する推論結果。

左列はSMAL、中央列はSMALR、右列の最上部はその左のSMALRにtextureをハメたもの、下３つはrealな画像。

SMALRではツノの再現等、よりリアルになっている。

reference

[2] S. Zuffi, A. Kanazawa, D. Jacobs, and M. J. Black. 3D menagerie: Modeling the 3D shape and pose of animals. In IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), July 2017.

[3] O. Sorkine and M. Alexa. As-rigid-as-possible surface mod- eling. In Proceedings of the Fifth Eurographics Symposium on Geometry Processing, Barcelona, Spain, July 4-6, 2007, pages 109–116, 2007.