はじめに

CVPR2019から以下の論文
[1] K. Sun, et. al. "Deep High-Resolution Representation Learning for Human Pose Estimation" CVPR2019
のまとめ

CVF open access:
https://openaccess.thecvf.com/content_CVPR_2019/papers/Sun_Deep_High-Resolution_Representation_Learning_for_Human_Pose_Estimation_CVPR_2019_paper.pdf

公式コード:
https://github.com/leoxiaobin/deep-high-resolution-net.pytorch

既に様々な解説が出てるので、ここでは以下の点に焦点を絞ってまとめ。

概要

2D のhuman pose estimation系のモデルでtop-down系である
高解像度を維持したアーキテクチャーであることが特徴
具体的には、高解像度を維持したメインの経路が存在し、それに対して低解像度化した経路を加えている
これら高解像度の経路と低解像度の経路は何度も繰り返しfusionする
このようなアーキテクチャによって、COCO dataset、MPⅡ datasetで高い精度を達成した

これまでのアーキテクチャ

以下は（著者らが言うところの）pose estimationなどで用いられる代表的な４つのアーキテクチャ。

(a) Hourglass系

(a)はHourglass([2])系のアーキテクチャ。

前半でhigh-to-lowで解像度を小さくしながら特徴量を高度化し、後半でその特徴量を高解像度化していく。
前半と後半で対照となっている。途中にskip-connectionが存在。

(b) Cascaded pyramid network系

(b)は[3]等で用いられているCascaded pyramid network系。
前半のhigh-to-lowの部分が巨大で、おおよそImageNetで学習済みResNetのような巨大モデルの一部を用いる。low-to-highは軽め。終盤に複数の解像度の特徴量をconcatする。途中にskip-connectionが存在。

(c) SimpleBaseline系

(c)は[4]で用いられているアーキテクチャ。
(b)と同様high-to-lowが重い。low-to-highはdeconv（transpose conv）を使用。

(d) dilated convを用いる系

(d)は[5]などで用いられているdilated convを用いたアーキテクチャ。
重いhigh-to-lowの後、delated convを用いる。

HRNetのアーキテクチャ

本手法HRNetでは以下の図のように

高解像度の経路がまず存在し、それをhigh-to-lowした経路が現れ、それらが平行に進む。さらに途中で何度か異なる経路の特徴量をfusionさせる。
高解像度の経路からみると、低解像度で高度に特徴量かされたものが混じるので、高度な特徴量が高解像度化される効果を期待している。

その他

top-down系
heatmapを使う系で、targetはそれのみ
アーキテクチャ内の各ユニットはResidualなblock

実験と結果

COCO datasetに対する定量的評価

以下はCOCO datasetのtest dataに対する他のモデルとの精度比較表。

CPNやSimpleBaselineと比較しても精度がよい。

MPII datasetに対する定量的評価

MPII datasetのtest dataに対する他のモデルとの精度比較表。

PCKのtotalでみた場合、[6]と同様に最高精度。

PoseTrack2017に対する定量的評価

PoseTrack 2017 のtest dataに対するmAPとMOTAは以下。

こちらも最高精度。

fusionのablation study

高解像度と低解像度を途中でfusionするmulti-scale fusionの効果を検証。

AP 数パーセントの上昇に寄与している。

入力サイズと精度・速度の関係

以下は入力サイズを変えた場合の精度（AP）と速度（Gflops）の変化

入力サイズを大きくすると当然、速度は低下するが、精度は緩やかに上昇。

256x192あたりで精度がサチッてるので、タスクによってはこのサイズでよいかも。

reference

[2] A. Newell, K. Yang, and J. Deng. Stacked hourglass net- works for human pose estimation. In ECCV, pages 483–499, 2016

[3] Y. Chen, Z. Wang, Y. Peng, Z. Zhang, G. Yu, and J. Sun. Cascaded pyramid network for multi-person pose estimation. CoRR, abs/1711.07319, 2017

[4] B. Xiao, H. Wu, and Y. Wei. Simple baselines for human pose estimation and tracking. In ECCV, pages 472–487, 2018.

[5] E.Insafutdinov,L.Pishchulin,B.Andres,M.Andriluka,and B. Schiele. Deepercut: A deeper, stronger, and faster multi- person pose estimation model. In ECCV, pages 34–50, 2016.

[6] W. Tang, P. Yu, and Y. Wu. Deeply learned compositional models for human pose estimation.