Learning Structure-Guided Diffusion Model for 2D Human Pose Estimation

概要

この論文では、DiffusionPoseという新しい枠組みを提案している．
トレーニング中に、キーポイントにガウシアンノイズを加えてランダム分布に拡散させ、拡散モデルがノイズのあるヒートマップから地上真値のヒートマップを復元することを学習する．
推論中には、初期化されたヒートマップから高品質のヒートマップを生成する．また、DiffusionPoseの性能を向上させるために、人間の構造情報を条件として利用する方法も探求している．

最近、至る所で見るDiffusion（拡散モデル）と、その構造を活用した研究。
本研究はHuman Pose Estimation（姿勢推定）に拡散モデルを利用した。

従来手法との比較

従来の2D姿勢推定手法は、通常、トップダウン法、ボトムアップ法、およびシングルステージ法に分類される．トップダウン法は、各人物のバウンディングボックスを検出し、その中で姿勢推定を行う．ボトムアップ法は、すべてのキーポイントを検出し、それをグループ化して個々の人物の姿勢を推定する．ワンステージ法は、画像全体から直接キーポイントを回帰する．

これらの手法の問題点は以下の通りである：

トップダウン法: 高解像度のバウンディングボックスが必要であり、計算コストが高い
ボトムアップ法: キーポイントのグループ化が難しく、密集したシーンでは誤差が生じやすい
シングルステージ法: 一貫性のある高精度な結果を得るのが難しい

新規性

Diffusionについては、モデル構造をある程度は理解しておくことが、必須教養になりそうな気がします...

DiffusionPoseの新規性は以下の点にある：

拡散モデルの利用: 2D姿勢推定をノイズのあるヒートマップからヒートマップを生成する問題として定式化し、拡散モデルを利用する
構造ガイド拡散デコーダ (SGDD): 人間の構造情報を条件として利用し、キーポイントヒートマップの生成を改善する
高解像度SGDD: 高解像度のヒートマップを生成することで、精度を向上させる

方法論

前方拡散プロセス (FDP): キーポイントにガウシアンノイズを加えてノイズのあるヒートマップを生成し、特徴マスクを作成する
モデル前方プロセス (MFP): 入力画像から抽出した特徴と特徴マスクを用いて、拡散モデルの条件を生成する
逆拡散プロセス (RDP): 初期化されたヒートマップから高品質のヒートマップを生成し、キーポイントの座標を復元する

モデル学習・推論の流れ

Training

拡散ステップを設定
入力画像をエンコーダにて画像特徴xに変換
画像特徴xよりヒートマップを生成する、このヒートマップにノイズを付加していく。
キーポイントをノイズのあるキーポイントに変換する
ノイズありキーポイントからノイズのあるヒートマップ・特徴マスクを生成する。
この特徴マスクにはキーポイントマスクとスケルトンマスクが含まれている。
特徴x、キーポイントマスク、スケルトンマスクを使用し、一部がマスクされた特徴xk,xsを生成する。
spatial-channel cross-attention (SC-CA) モジュールを用いて、条件付き特徴を生成する。
拡散デコーダによってノイズのあるヒートマップから推定ヒートマップを生成する。

LOSS

推定ヒートマップとGTヒートマップとの間のL2損失を計算する
エンコーダの出力（画像特徴量）とGTヒートマップとのL2損失を計算する

Inference

エンコーダで画像から画像特徴xを抽出
初期化：特徴xを用いて、ヒートマップを生成する。
このヒートマップをデノイズ過程のスタート地点とする。
ヒートマップからキーポイントをデコードする。
キーポイントから特徴マスク（キーポイントマスク、スケルトンマスク）を生成する。
マスクされた特徴の生成
条件付き特徴の生成：SC-CAモジュールを用いて、条件付き特徴を生成する
デコーダによって、ノイズのあるヒートマップから次ステップのヒートマップを生成する。
最終ステップで最終的なヒートマップからキーポイントをデコードする

結果と評価

DiffusionPoseは、COCO、CrowdPose、AI Challengeデータセットで評価され、従来手法に勝る結果を示した。

結論

DiffusionPoseは、2D姿勢推定をノイズのあるヒートマップから高品質なヒートマップを生成する新しいアプローチを提案している．拡散モデルと構造ガイド拡散デコーダを利用することで、従来の手法に比べて精度と効率が大幅に向上している．このアプローチは、今後の姿勢推定研究において新たな標準となる可能性がある．