PoseTrack: A Benchmark for Human Pose Estimation and Tracking
CVPR 2017
概要
PoseTrackは、ビデオベースのHuman Pose EstimationとArticulated Trackingのための新しい大規模ベンチマークを提案している．
このベンチマークには、次の三つのタスクが含まれる：
- Single-frameのMulti-Person Pose Estimation
- 動画におけるMulti-Person Pose Estimation
- Multi-Person Articulated Tracking
従来手法との比較
従来のシステムは、現実的な動画でのMulti-Person Pose EstimationおよびTrackingのパフォーマンスが低く、時間を通じて一貫したBody Pose Trajectoryを出力することに苦労していた．PoseTrackは、これらの問題を解決するために設計されており、以下の点で従来の手法と異なる：
-
大規模なデータセット: Multi-Personが関与する動画シーケンスを収集し、詳細にAnnotateされたデータセットを提供
-
評価サーバー: 評価用のサーバーを提供し、研究コミュニティが統一されたテストセットで評価できるようにする
評価の手順
- テストセットの保持: テストセットは公開されず、集中評価サーバーが保持しています。研究者はこのテストセットに直接アクセスすることはできません。
- モデルの提出: 研究者は自分のモデルを集中評価サーバーに提出します。
- 自動評価: 提出されたモデルは、集中評価サーバー上で自動的に評価されます。これには、テストセットに対する予測の生成と、その予測の精度評価が含まれます。
- 結果の提供: 評価結果は、研究者に提供され、モデルの性能を確認することができます。これにより、研究者は自分のモデルが他のモデルとどのように比較されるかを知ることができます。
このようにして、PoseTrackデータセットは効率的かつスケーラブルな評価環境を提供し、研究コミュニティ全体での公平な評価と比較を可能にしています。
新規性
PoseTrackの新規性は以下の点にある：
- 統合タスク: Single-frameおよび動画シーケンスにおけるMulti-Person Pose EstimationとTrackingを統合的に評価する初めてのベンチマーク
- 詳細なアノテーション: Person Track、Body Joint、Ignore Regionなど、詳細なアノテーションを提供
- 評価プラットフォーム: 評価サーバーを通じて、一貫した方法での評価を可能にする
方法論
PoseTrackのデータ収集とアノテーションプロセスは以下の通り：
- データ収集: 多人数が参加する混雑したシーンを含む動画シーケンスを選定
- アノテーション: Ignore Region、PersonのHead Box、Track ID、Body Poseをアノテート
- フレーム選択: Keyframeの前後のFrameを選定し、動画シーケンス全体にわたってアノテート
無視領域のラベル使用目的
Ignore Regionのラベルは、以下の目的で使用される：
- 誤検出のペナルティ回避: Ignore Region内の誤検出はペナルティの対象としないことで、モデルの性能評価が公平に行われる
- アノテーション効率の向上: アノテーターが注力すべき領域を明確にし、効率的にアノテーションを行う
- モデルのロバスト性の向上: Ignore Regionを考慮することで、ノイズや干渉に対して強いモデルを訓練する
- 実際のシナリオに近づける: Ignore Regionの存在により、データセットをより現実的で実用的なものにする
結果と評価
PoseTrackを使用した評価では、Multi-Person Pose EstimationおよびTrackingのベースライン手法が評価され、それぞれのタスクで高いパフォーマンスを示した．特に、遮蔽が発生するシナリオでのパフォーマンスが向上したことが確認された．
結論
PoseTrackは、ビデオベースのMulti-Person Pose EstimationとArticulated Trackingのための新しい大規模ベンチマークを提供し、これらのタスクを統合的に評価するための基盤を提供している．
現在、このデータセットはダウンロードできないかもしれないです。
少し探したけど見当たりませんでした。
ただ、すでに次のバージョンのPoseTrack21が出ているので、そちらに統合されたのかもしれません。