はじめに

BMVC 2016 から以下の論文
[1] B. Tekin, et. al."Structured Prediction of 3D Human Pose with Deep Neural Networks", BMVC 2016
のまとめ

arXiv:
https://arxiv.org/abs/1605.05180

コード：
所在は不明

日本語のまとめ記事：
DeNAのざっくりまとめ
https://engineer.dena.jp/#tekin2016

ちなみにBMVC は British Machine Vision Conference の略で、こちらのサイト
http://www.guide2research.com/topconf/
によるとH-indexが46とそこそこのカンファレンス。

概要

単眼カメラからの画像から３次元の姿勢を推定するモデル
事前にautoencoderで姿勢の潜在表現を学習する
この潜在表現を利用して３次元の姿勢を回帰問題として解く

（[1]Figure3より）左側の入力画像に対して、その右がground truth、さらに右が本手法で推定した３次元骨格。

手法の解説

全体像

全体像は以下の図。

（[1]Figure1より）

解説に書いてる通り、以下の３段階で学習を行う。

潜在変数の次元が大きいAuto-encoderで人の姿勢を学習する
その潜在変数をtargetとし、画像を入力としたCNNを学習する
decoderを付け加えて姿勢を再学習する

1. auto-encoderによる姿勢の学習

以下の図のようにauto-encoderで姿勢を学習する。

（[1]Figure2より抜粋）

人の関節のベクトル $y_i$ に等方性のノイズを加えたものを $\tilde{y}_i$ 、それをパラメータ $\theta_{ae}$ の auto-encoder $f_{ae}$ により再構築されたものを $\hat{y}$ とすると、

\hat{y} = f_{ae} (y, \theta_{ae})

$\theta_{ae}$ のパラメータのうち、重みに関しては、過適合を防ぐため

W_{dec,j} = W^T_{enc,j}

とする。

loss は入力した骨格と再構築した骨格との２乗誤差にencoderのヤコビ行列に対し行列ノルムの２乗を加える。

\newcommand{\argmin}{\mathop{\rm arg~min}\limits}
\theta_{ae}^* = \argmin_{\theta_{ae}} \sum^N_i \|y_i - f(y_i, \theta_{ae} \|^2_2 + \lambda \| J(y_i) \|_F^2

このノルムは初めて見たが、ヤコビ行列は $J(y) = \frac{\partial g}{\partial y}(y)$ と、出力を入力で微分してるから重みみたいなものと考えると、そのノルムを取ってるだけなので、重みに対してL2 norm の２乗を取ってるみたいなもん？？

2. 潜在空間を回帰で学習する

第２段階として、下図

（[1]Figure2より抜粋）のようにauto-encoder のlatentをtargetとした回帰問題としてCNNを学習する。

このCNNモデルを $f_{cnn}(x_i, \theta_{cnn})$ として loss は

\newcommand{\argmin}{\mathop{\rm arg~min}\limits}
\theta_{cnn}^* = \argmin_{\theta_{cnn}} \sum^N_{i} \| f_{cnn} (x_i, \theta_{cnn}) - h_{L,i} \|^2_2

とする。

3. decoderを加えて姿勢を再学習する

３段階目として以下の図

のように auto-encoder の decoder 部分を付け加えてfine-tuningする。

lossは targetの関節位置と推論の位置とで２乗誤差をとる。

\newcommand{\argmin}{\mathop{\rm arg~min}\limits}
\theta_{ft}^* = \argmin_{\theta_{ft}} \sum^N_i \| f_{ft} (x_i, \theta_{ft} ) - y_i \|^2_2

実験と結果

実験の概要

dataset・・・Human3.6M
metrics・・・３次元ユークリッド距離の平均値

他モデルとの比較結果

（[1]Table1より） 2016年当時の他の手法と比較して値がよい。