arXiv

結果画像

図1

論文の概要

位置付け

CVPR2017でCMUのグループによって発表された写真中に多人数いる時にも対応したスケルトンフレームの姿勢推定手法。コードはOpenPoseとしてきれいに整理して公開されている。なお、OpenPoseでは本論文の技術の他にも顔部位推定や手指推定などの他の技術も同梱している。

写真中に写っているのが一人だけの時は　Stacked Hourglass Networks for Human Pose Estimation(以降従来手法と呼ぶ)　でひとまず精度良く推定できるようになったが複数人に対しては対応できていなかった。また複数人の姿勢推定をなんの工夫もなしにやると計算量が爆発する。本論文は多人数の姿勢推定をPAFというベクトル画像を推定する処理を導入することで多人数においても推定できるようにしたもの。

技術ポイント

入力写真から従来手法では身体部位推定のヒートマップを生成していたが、本論文ではそれに加えてPAF(Part Affinity Fields)も生成する。

PAFとは入力画像における同一人物の部位同士を結合する直線上にある画素ではその結合直線の方向を表す二次元単位ベクトルを、それ以外の画素では二次元ゼロベクトルを格納する画像のこと。(図2(c)参照)

図2

ニューラルネットのモデルの構造は部位推定ヒートマップ推定用のパスとPAF推定用のパスに分岐しているもののそれぞれのパス自体は従来手法と大差はない(図3)。ただしHourglass(砂時計)の形はしていなくてネットワーク後半では一気に画素数を展開しているように見える。さらに従来手法のようにネットワークをstackさせている点(図3のStage t)も同様。こうすることで推定結果を段階的にリファインできる。また、Stageを一つ進める際にはヒートマップとPAFを統合しているのでヒートマップとPAFはお互いの情報を使って精度を高め合う効果もありそう。

図3

最後に部位推定ヒートマップとPAF画像に基づいて統合処理をして最終的なスケルトンフレーム推定結果を算出する。この統合処理についてもテクニックがあり論文中では　Bipartite Matching　(図2(d))として解説されている。が、論文のメインポイントはPAF画像を導入することで従来手法で推定した部位が写真中のどの人物に属するかを効率的に推定できるようにしたことと言って良いと思う。

*基本的には個人的な視点も含んだメモです。また、事実と異なることが書かれていたらご指摘いただけたら幸いです。