はじめに

ICCV2019より以下の論文
[1] S. Zuffi, et. al. "Three-D Safari: Learning to Estimate Zebra Pose, Shape, and Texture from Images “In the Wild"ICCV2019
のまとめ

CVF open access:
https://openaccess.thecvf.com/content_ICCV_2019/html/Zuffi_Three-D_Safari_Learning_to_Estimate_Zebra_Pose_Shape_and_Texture_ICCV_2019_paper.html

著者らコード：
https://github.com/silviazuffi/smalst

関連論文のまとめ：
本論文の元となっているSMALRモデルの拙著まとめ
https://qiita.com/masataka46/items/23698308aedb9915b654

概要

in the wildな環境の動物に対して3Dのpose、shape、テクスチャを出力する先駆け的な論文
3D modelは同著者らが提案しているSMALやSMALRを用いる
学習には合成したデータを用いる

以下は推論の例

下から入力のin the wildなシマウマの画像、推定した3D modelを画像に重ねたもの、推定したモデルに推定したテクスチャを貼ったもの、推定したmodelを別角度から見たもの。

SMAL と SMALR

SMAL model

SMAL modelは著者らが[2]で提示したもので、人のshape model SMPLを動物に転用したもの。具体的には以下。

$\beta$ : PCAで次元削減された空間におけるshapeのベクトル。
$\theta = { {\bf r}_i }^N_{i=1} \in \mathbb{R}^{3N}$ : 各関節の親関節に対する相対的なrotationでロドリゲスベクトルで表現したもの
$\gamma$ : ルートの関節のworld座標における translation
として、SMALモデル $M$ で表される 3dメッシュの頂点は

{\bf v} = M(\beta, \theta, \gamma)

で表現される。

関節数はSMAL modelでは33だが、本手法では耳を加えて35とする。

SMAL modelを個別の馬へ適応

${\bf v}_{horse}$ : 馬のSMALテンプレート（馬の平均的な形状）
$B_s$ : deformation matrix（低次元のshape特徴量を各馬への差分に変換する？）
として、個別の馬のT-pose（以下の図のような決まった姿勢）は

{\bf v}_{shape}(\beta) = {\bf v}_{house} + B_s \beta \tag{1}

として求める。

SMALR

SMALR modelは著者らが[3]で提示したもので、画像からSMALを推定する。

$\hat{\beta} \ $ : 画像中の馬に対して推定したshapeのパラメータ
${\bf dv}^{SMALR}$ : SMALRのしくみで推定した displacement vector
として、
先と同様に、画像の馬に対する推定したT-poseは

{\bf v}_{shape}({\bf dv}^{SMALR}) = {\bf v}_{house} + B_s \hat{\beta} + {\bf dv}^{SMALR} \tag{2}

で求める。

本論文で推定する dv

本論文では

{\bf dv}^{SMALST}= B_s \hat{\beta} + {\bf dv}^{SMALR} \tag{3}

と考え、この ${\bf dv}^{SMALST}$ をモデルから推定する。そうすると

\begin{eqnarray}
{\bf v}_{shape}({\bf dv}^{SMALST}) &=& {\bf v}_{house} + B_s \hat{\beta} + {\bf dv}^{SMALR} \\
&=& {\bf v}_{house} + {\bf dv}^{SMALST} \tag{4}
\end{eqnarray}

となる。

用いたデータセット

まず前提として、人と違って動物の3Dposeやshapeのデータセットはほとんどない。なので、シミュレーター等を利用して合成データを用いるのが常套手段。

12,850の馬の合成データを用いた
SMALRモデルで生成し、OpenDRを使ってrenderingした

以下の図では上側が合成データ、下がリアルなデータ。

学習時のアーキテクチャ

アーキテクチャの全体像は以下。

各要素を見ていく。

画像からT-poseを推定する流れ

図の左端、馬付近を切り取った画像をencoderに入力する。encorderはResNet-50を用いている。これから得られた特徴量を出力ごとに分岐し、畳み込む。

shape predictorからは（２）式の ${\bf dv}$ 値を出力する。

これに対して（２）式でT-poseを出力する。

画像からテクスチャを推定する流れ

shapeと同様に、馬画像を入力してuv-flowを出力する。ここでいうところの uv-flow とは、画像上の座標(x, y)からテクスチャ・マップの(u, v)へのflowのこと。

このuv-flowからその右、texture mapが生成される。

画像から各種パラメータを出力する流れ

同様に馬画像から translation：γ、focal length：f、各関節の相対 rotation：θを出力する。

texture map、T-pose、パラメータから画像を生成する流れ

T-poseと translation, rotationで3Dモデルができあがる。これにtexture mapを貼る。（図中のprediction）

これをfocal lengthを用いて画像にprojectし、backgraoundを貼ると、元の画像を推定できる。

Loss

lossの全体像は以下。

L_{train} = L_{mask} (S_{gt}, S) + L_{kp2D} ( K_{2D, gt}, K_{2D}) + L_{cam}(f_{gt}, f) + L_{img}(I_{input}, I, S_{gt}) + L_{pose}(\theta_{gt}, \theta) + L_{trans}(\gamma_{gt}, \gamma) + L_{shape}({\bf dv}_{gt}, {\bf dv}) + L_{uv}({\bf uv}_{gt}, {\bf uv}) + L_{tex}(T_{gt}, T) + L_{dt}({\bf uv}, S_{gt})

以下、各項。

1) Loss mask

$L_{mask} (S_{gt}, S)$ はmaskに関するloss。

$S_{gt}$：ground truthのmask
$S$：推論したmask

おそらく馬のsegmentされた領域のことだろう。学習時の入力画像は合成データなのでground truthのmaskは常に存在する。これと推定した画像上の馬の領域とでL1を計算する。

2) Loss kp2D

$L_{kp2D} ( K_{2D, gt}, K_{2D})$ は2D上のキーポイント（各関節）に関するloss。

$K_{2D, gt}$：ground truthの2D上（画像座標上）のキーポイント。
$K_{2D}$：推定した2D上のキーポイント

こちらも同様に合成画像の性質上、ground truthの2Dキーポイントは存在する。これと推定した3D-poseから各関節の位置を2Dに射影したキーポイントとでMSE lossを計算する。

3) Loss camera

$L_{cam}(f_{gt}, f)$ はカメラの焦点距離に関するloss。

$f_{gt}$：ground truthの焦点距離
$f$：推定した焦点距離

やはり同様にシミュレーターから生成した合成画像なのでground truthの焦点距離は求まる。これと推定した焦点距離とでMSEを計算する。

4) Loss image

$L_{img}(I_{input}, I, S_{gt})$ は画像同士のloss。

$I_{input}, I$：入力画像の馬の部分
$I, S_{gt}$：推定した諸々のデータから作成した馬と背景の画像から馬の部分だけを抜いたもの

この両者からperceptual distance[4]を求める。

5) Loss pose

$L_{pose}(\theta_{gt}, \theta)$ は各関節の相対的rotationに関するloss。

$\theta_{gt}$：ground truthの各関節の相対的rotation
$\theta$：推定した各関節の相対的rotation

[5]の手法のようなMSEで求める。

6) Loss trans

$L_{trans}(\gamma_{gt}, \gamma)$ はroot関節のtranslationに関するloss。

$\gamma_{gt}$：ground truthのroot関節 translation
$\gamma$：推定したroot関節 translation

MSEで求める。

7) Loss shape

$L_{shape}({\bf dv}_{gt}, {\bf dv})$ はshapeに関するloss。具体的には変位ベクトル dv値を使う。

${\bf dv}_{gt}$：ground truthの変位ベクトル（dv）
${\bf dv}$：推定した変位ベクトル（dv）

MSEで求める。

8) Loss uv

$L_{uv}({\bf uv}_{gt}, {\bf uv})$ はuv-flowに関するloss。

${\bf uv}_{gt}$：ground truthのuv-flow
${\bf uv}$：推定したuv-flow

両者でL1 lossを計算する。texture mapの見えてない部分に関してはlossを計算しない。

9) Loss texture

$L_{tex}(T_{gt}, T)$ textureに関するloss。

$T_{gt}$：ground truthのtexture map
$T$：推定したtexture map

両者でL1 lossを計算する。

10) Loss dt

（ここ間違ってたら連絡ください）

$L_{dt}({\bf uv}, S_{gt})$ は[6]に出てくる texture flow に関するloss。

上記の Loss uv はカメラから見えてない部分に関してはlossを計算しない。また Loss imageもカメラから見た3Dモデルを画像にprojectしているので、カメラから見えてない部分に関しては考慮されてない。

よって、以上のlossだとカメラから見えてない部分のtextureに関してはどのようなものを推定するか不明。

しかし、実際にはzebraの模様は左右がほぼ対象などの特徴がある。よって、例えば見えてない体の左側のtextureを「見えてる」体の右側の対応する点から取ってくると、それっぽいものができあがるだろう。よって、そのような学習を行いたい。

texture flowがinput imageの前景部分のみになるよう、texture flowが後景を示した場合にペナルティを与える。これにより、見えてない部分の texture flow は、頑張って前景部分の対応する点を見つけようとするだろう。

これにはまず、distance transformを用いる。これはまずmask画像のような{1, 0}のみの画像において、最も近い0の位置からの距離を示したマップ。例えば

[[0,1,1,1,1],
 [0,0,1,1,1],
 [0,1,1,1,1],
 [0,1,1,1,0],
 [0,1,1,0,0]]

であれば、

[[ 0.    ,  1.    ,  1.4142,  2.2361,  3.    ],
 [ 0.    ,  0.    ,  1.    ,  2.    ,  2.    ],
 [ 0.    ,  1.    ,  1.4142,  1.4142,  1.    ],
 [ 0.    ,  1.    ,  1.4142,  1.    ,  0.    ],
 [ 0.    ,  1.    ,  1.    ,  0.    ,  0.    ]]

となる。これを用いて、前景部分でほぼ 0.0, 後景部分でほぼ 1.0となるような演算を行う。

具体的には SMALSTコード utils/image.py内の compute_dt_barrier関数内で以下のような演算を行っている。

from scipy.ndimage import distance_transform_edt
dist_out = distance_transform_edt(1-mask)
dist_in = distance_transform_edt(mask)
dist_diff = (dist_out - dist_in) / max(mask.shape)
dist = 1. / (1 + np.exp(50 * -dist_diff))

１行目：上で説明したdistance transformを行うライブラリをimport。
２行目：最も近傍の前景からの距離 dist_out を求める
３行目：最も近傍の後景からの距離 dist_in を求める
４行目：dist_out から dist_in を引くことで前景の中心部分であるほど正で絶対値が大きな値、後景で前景から離れるほど負で絶対値が大きな値となる。これを規格化する。
５行目：これに50という大きな値をかけて絶対値を大きくし、０から話した上でシグモイドを作用させる。これにより前景部分はほぼ1.0, 後景部分はほぼ0.0となる。

これらの処理を $D_s(x) = 0$ とし、

L_{dt} = \sum_i \sum_{u,v} G(\mathcal{D}_{S_i};\mathcal{F}_i)(u,v)

として loss とする。

インスタンスごとの最適化

ネットワークで推論させた後に、各インスタンスごとに教師なしで最適化することで精度を上げる。

具体的には以下の図（再掲）の

ピンクの破線部分。以下の手順で行う。

（１）ネットワークのパラメータは固定する
（２）input画像をネットワークに入力し、特徴量（encoderからのfeatures）を得る
（３）特徴量から諸々の値を取得し、最終的には右端のシマウマをprojectして得た前景にbackground（データの平均画素値）を加えたもの（outputとする）を得る
（４）inputとoutputに関するlossを計算し、それを最小化するよう特徴量を更新する

Lossは以下のようにinputとoutputとのperceptual distanceを用いる。

L_{photo} ( I_{input}, I) + L_{cam} ( \hat{f}, f) + L_{trans}(\hat{\gamma}, \gamma)

2項目と３項目はへんな方向に行かないための制約か？

学習のプロセス

data生成

用いたシマウマの数は 10 subjects。合計57画像をSMALRを当てはめて3Dモデルを作成した。
これに対し、OpenDRを使ってランダムに形状、pose、カメラパラメータ、background等を変え、12,850枚のdataを生成した

以下、データのvariationの詳細

pose variation

それぞれのSMALRモデルにおいて骨格の角度を正規分布に従う値で変えた。この分布はSMALRの57個のposeと歩いているシーンのposeから生成した
その際の正規分布は57枚の画像におけるposeと合成的にwalkさせたものから得た
57個のposeにnoiseを加えて５倍にしたpose、計285個も追加した（これにより 1 subjectあたり計1,285個）
depthも $\gamma_0 = [0.5, -1.0, 20]$ と変化させた（1,285個に対してランダムにこのtranslationを当てはめたいう意味か？）

Appearance variation

1 subjectあたり1,285枚 x 10 subjectの画像に対し、見た目を変化させるため white-balance algorithmを使ってテクスチャを変化させた。これによりtexture mapは倍となった
input 画像に対して明度、彩度、色相をランダムに変化させた
3Dモデル上でランダムに照明も追加した
input 画像の背景はCOCO datasetからランダムに取得した

Shape and size variation

β値のうち20個をランダムに変えることでshapeも変化させた
focal lengthにもnoiseを加えた

実験の結果

精度は2D上の各関節が正解の一定範囲に収まっているかを表すPCK等で判定した。

ablation study

以下のtable1では(B)が合成データに対する精度、(C)が本手法、等。

reference

[2] Silvia Zuffi, Angjoo Kanazawa, David Jacobs, and Michael J. Black. 3D menagerie: Modeling the 3D shape and pose of animals. In Proceedings IEEE Conference on Com- puter Vision and Pattern Recognition (CVPR) 2017, pages 5524–5532, Piscataway, NJ, USA, July 2017. IEEE.

[3] SilviaZuffi,AngjooKanazawa,andMichaelJ.Black.Lions and tigers and bears: Capturing non-rigid, 3D, articulated shape from images. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, 2018.

[4] RichardZhang,PhillipIsola,AlexeiAEfros,EliShechtman, and Oliver Wang. The unreasonable effectiveness of deep features as a perceptual metric. In CVPR, 2018.

[5] Siddharth Mahendran, Haider Ali, and Rene ́ Vidal. 3d pose regression using convolutional neural networks. In 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pages 494–495, July 2017.

[6] Angjoo Kanazawa, Shubham Tulsiani, Alexei A. Efros, and Jitendra Malik. Learning category-specific mesh reconstruc- tion from image collections. In ECCV, 2018.