論文
論文名
MultiPoseNet: Fast Multi-Person Pose Estimation using Pose Residual Network
著者
Muhammed Kocabas, Salih Karagoz, and Emre Akbas
学会
ECCV2018
概要
人物検出、人物セグメンテーション、姿勢推定をマルチタスクで処理することができる新しいボトムアップ方式手法。正確な姿勢推定のために提案されたPose Residual Network(PRN)が2つの出力（キーポイント・人物検出）を受けてキーポイントを人物インスタンスに割り当てる。精度と速度の両方においてそれまでのボトムアップ手法を上回り、トップダウン手法に匹敵する精度でありながら少なくとも4倍の速度を実現する（23フレーム毎秒）。
Muhammed Kocabas, Salih Karagoz, and Emre Akbas. Multiposenet: Fast multi-person pose estimation using pose residual network. In ECCV.
貢献
- キーポイントの割り当てとグルーピングに対して有効に働くPRNの提案
- ボトムアップ手法の精度を凌駕し、トップダウン手法と同等の精度を達成
- 23フレーム/秒のリアルタイム性を実現
- 拡張可能性が高く、同じアーキテクチャを用いてセグメンテーションをなどの他の処理も可能
Muhammed Kocabas, Salih Karagoz, and Emre Akbas. Multiposenet: Fast multi-person pose estimation using pose residual network. In ECCV.
評価
- COCO test-devにおいてボトムアップ手法の精度更新、トップダウン手法と同等の精度
- COCOでの人物検出の精度でオリジナル実装の精度を上回る（80クラスのここをperson1クラスに変更しているから当然）
- PASCAL VOC2012においてセマンティックセグメンテーション精度がDeepLabv3と同等（これは苦しくね？？）
- ランタイムが既存手法と比較して速い
Muhammed Kocabas, Salih Karagoz, and Emre Akbas. Multiposenet: Fast multi-person pose estimation using pose residual network. In ECCV.
課題
- 人物検出とセマンティックセグメンテーションの精度が課題なのでは（個人的にそう思う）。特に人物検出も最先端の精度でないとキーポイントのローカライズが真に正確になり得ない