はじめに

CVPR2019 にacceptされた論文の中から以下の論文
[1] I. Habibie, et. al, "In the Wild Human Pose Estimation Using Explicit 2D Features and Intermediate 3D Representations"
のまとめ

arXivのリンク：
https://arxiv.org/abs/1904.03289

コードは現段階（2019/5/10）では見当たらず

以下ではロジック部分のみまとめ。

概要

単眼RGB画像から3次元の骨格を推定するモデル
スタジオで取得した３次元骨格データとin-the-wildな人の画像にアノテーションしたデータを用いて学習し、in-the-wildな人の画像に対して３次元の骨格を推定する

以下の図は１例。

[1]figure1より

左側のin-the-wildな人の画像に対して、その右の３次元骨格推定値、が２セット。

背景

３次元の骨格データはおおよそ、スタジオでセンサーなどを設置したり、複数のカメラから撮影などをして取得する。

そうやって作成されたデータで学習すると、in-the-wildな人に対する汎化性能が悪い。しかしin-the-wildな人に対して３次元の骨格座標を付与することは困難。

一方でin-the-wildな人に対して２次元の骨格座標を付与することは簡単。

ならばこの２次元のin-the-wildな人の２次元骨格座標とスタジオで撮った３次元骨格座標とを用いてin-the-wildな人の３次元骨格を推定できないだろうか。。。

アーキテクチャの概要

全体像は以下。

[1] figure2より

１）左からカラー画像を入力する。

２）$f_{RGB}$ （ResNet-50を使用）で特徴量を抽出し、２次元の関節ヒートマップとその距離を推定する。第1段階の学習では推定した２次元ヒートマップとtargetの２次元ヒートマップとでlossをとる

３）２次元ヒートマップと距離を全結合でlatent $z$ にし、それを２つのneural net $f_{3D}$ と $f_c$ とにわけて入力する。$f_{3D}$ ではルート関節からの各関節の相対座標を求め、$f_c$ ではカメラの内部パラメータを推定する。

４）第2段階の学習では３次元骨格のロス、および各四肢のベクトル同士のロスを計算する。

５）３次元の骨格を２次元にprojectした $P_{2D}$ とtargetの２次元骨格とでロスを計算する。in-the-wildな人の骨格は２次元画像なので、この過程が必要。

アーキテクチャの詳細

カラー画像を入力してheatmapとdepthの推定

カラー画像 ${\rm I} \in \mathbb{R}^{w \times h \times 3} $ を ResNet-50の $f_{RGB}$ に入力する。

出力はヒートマップ ${\rm h}_{2D}$ と depth $\rm d$ 。

{\rm h}_{2D} = \rm (m_1, m_2, \cdots , m_K)

$K$ は関節の個数。一方、ヒートマップのground truthを

{\rm h}^{GT} = ({\rm m}_1^{GT}, {\rm m}_2^{GT}, \cdots , {\rm m}_K^{GT})

とすると、ロスは

\mathcal{L}_{2D} = \sum^K_{k=1} b_k \| {\rm m}_k - {\rm m}_k^{GT} \|^2_2

とL2 normの２乗とする。$b_k \in {0,1}$ は $k$ 番目の骨格が利用可能な場合のみ１。

３次元骨格の推定

まずヒートマップと depth を全結合で1024次元のlatent $z$ にする。

これを２つにわけて、$f_{3D}$ ではルート骨格を起点とした相対３次元骨格 $P_{3D}$ を推定する。

一方 $f_c$ ではカメラの内部パラメータ $c$ を推定する。

まずこの相対３次元骨格同士のロス $\mathcal{L}_{3D\ pose}$ は以下。

\mathcal{L}_{3D\ pose} = \| {\rm P}_{3D} - {\rm P}^{GT} \|^2_2

また各四肢同士のロス $\mathcal{L}_{bone}$ は以下で求める。

\mathcal{L}_{bone} = \sum^K_{k=1} \| \left(Parent ({\rm J}_k ) - {\rm J}_k \right) -\left( Parent ({\rm J}_k^{GT} ) - {\rm J}_k^{GT} \right) \|^2_2

四肢を親関節から股関節へのベクトルで表現している。

なお、in-the-wildな人画像で学習する場合は３次元のground truthがない。この場合は３次元骨格データからランダムにサンプリングされた人の骨格 ${\rm J}_k^{S}$ とのロスのみを計算する。（人の骨格は大体同じという想定か？）

\mathcal{L}_{bone} = \sum^K_{k=1} \| \left(Parent ({\rm J}_k ) - {\rm J}_k \right) -\left( Parent ({\rm J}_k^{S} ) - {\rm J}_k^{S} \right) \|^2_2

３次元骨格を２次元へprojectする

カメラの画像中心を $(c_x , c_y)$ 、焦点距離を $(\alpha_x, \alpha_y)$ として、３次元ワールド座標から２次元画像の座標へ以下で変換する。

\begin{eqnarray}
{\rm \bf p}_{2D} &=& \left[
    \begin{array}{ccc}
      \pi_x ({\rm \bf p}_{3D}) \\
      \pi_y ({\rm \bf p}_{3D})
    \end{array}
  \right] \\
&=& \left[
    \begin{array}{ccc}
      \alpha_x {\rm \bf p}_{3D}(x) + c_x \\
      \alpha_y {\rm \bf p}_{3D}(y) + c_y
    \end{array}
  \right]
\end{eqnarray}

この ${\rm \bf p}_{2D}$ とground truthとでロスを計算する。

\mathcal{L}_{2Dpose} = \| {\rm \bf p}_{2D} - {\rm \bf p}_{2D}^{GT} \|^2_2