はじめに

CVPR2017 から以下の論文
[1] G. Pavlakos, et. al."Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose", CVPR2017.
のまとめ

● 著者らのプロジェクトページ
https://www.seas.upenn.edu/~pavlakos/projects/volumetric/

● arXiv:
https://arxiv.org/abs/1611.07828

● 既にいくつかまとめ記事が存在する。
１）yusuke ujitoko 氏のブログ：
http://yusuke-ujitoko.hatenablog.com/entry/2017/08/06/015654

２）DeNA naoki kato 氏のまとめ：
https://engineer.dena.jp/2019/12/cv-papers-19-3d-human-pose-estimation.html

● コード
１）著者らの matlabでの実装
https://github.com/geopavlakos/c2f-vol-demo

２）その他有志の caffe での実装
https://github.com/strawberryfg/c2f-3dhm-human-caffe

概要

単眼カメラから３次元の姿勢を推定するモデル
関節の heat map を３次元的に推定する
hourglass なネットワークを複数回繰り返すことで深さ方向の推定精度を増していく

２に関しては以下の図のような Volumetric な heat map を出力する。

３次元 heat map

３次元 heat map は２次元 heat mapを３次元に拡張したもので、図にするとこんな感じか？

２次元 heat map と同様に関節点に対してガウシアンをかけ、生成する。関節点を $(i,j,k)$ とすると、$(x,y,z)$ における heat map の値は

G_{i,j,k}({\bf{x}}^n_{gt}) = \frac{1}{2 \pi \sigma^2} \exp \left[ - \frac{(x-i)^2 + (y-j)^2 + (z - k) ^2}{2 \sigma^2} \right]

となる。よくある heat map と違って基準化定数があるが、 $\sigma = 2$ を使用するので、山のピークはそれほど低くならないだろう。

loss は MSE。

\mathcal{L} = \sum^N_{n=1} \sum_{i,j,k} \| G_{(i,j,k)} ({\bf{x}}^n_{gt}) - p^n_{(i,j,k)}  \|^2

$n$ は関節の番号。

Carse-to-fine prediction

OpenPose 等で用いられている「モジュールを多段に経てだんだん正確なheatmapにする仕組み」に近いが、幾つかの点で異なる。

1. 深さ方向を少しずつ増やす

違いの１つ目は、ステージを経るごとに深さ方向を増やすしくみ。

voxel なので、中間層における heatmapの要素数をできるだけ減らしたい。そこでステージ１では深さの要素数１、ステージ２では２、ステージ３では４、と $2^n$ で増やしていく。

2. 中間層の heat map を分離する

以下の図で

(a)では prediction の一部であるあるステージの heatmap に対し、そのまま次のステージの入力として利用している。

これだと特にステージ１においては深さ方向が１、つまり2Dの画像になるが、その情報のみから次のステージで深さ方向を復元することになってしまう。これは困難だろう。

そこで(b)のように深さ情報も含めた特徴量とheatmapとを分け、その後両者をconcate（？）して次のステージに伝える。

実験と結果

1. ３次元 heat map の効果

各関節の座標を回帰問題として解いた場合と３次元 heat map を用いた場合との mean per joint error の比較。

３次元 heat map の方がよい。

2. 多ステージなアーキテクチャの効果

例えば、左側が L1:64 depth, L2:64 depth と常に64 の深さのheat mapを出力する場合と、その右側 L1:1 depth, L2:64 depth と最初は小さく、その後大きくする場合とを比較した場合、後者の方が mean per joint error は低くなっている。

中間層のfeature map 、あるいはその周囲のパラメータは減っているはずだが、逆に性能がよくなっていて、興味深い。

3. 他モデルとの比較

Human 3.6M dataset でたモデルとの比較をした場合、 reconstruction error はかなり小さくなっている。なぜメトリクスを変えた？

4. 定性的評価

左側入力画像に対し、その右２つが prediction。predictionの左は入力画像と同じ角度から見た3d poseで、その右はそれを回転させたもの。