1. 概要

人を撮影した2D画像から3Dメッシュを自動生成する手法としてPLIKS(Pseudo-Linear Inverse Kinematic Solver)を提案している。

2. 新規性

既存手法では、画像から人体のメッシュを再構成する過程でカメラ位置に依存する問題や人体の体系に依存する問題などに適応できなかったが、この研究では画像の各ピクセルが3D座標とマッピングされたベクトルとして表現されることでカメラ位置や体系に依存せずに3Dの人体モデルを再構築することができる。カメラのキャリブレーション情報がある場合は補正情報を使ってより正確に3Dメッシュを再構成可能となっている。

3. 実現方法

人体の形状と姿勢を表現するためのパラメトリックモデルとしてSMPL(Skinned Multi-Person Model)が知られている。一般的なSMPLでは、人体を3Dでメッシュ表現するために、骨格構造を司る各関節の回転と位置情報を含むパラメータを含んでいるが、提案手法では人体のポーズ・形状・移動量のそれぞれを最適化することで2D画像にフィットする3Dメッシュモデルを生成する。

4. 結果

定量評価の結果、従来手法と比べて10%以上の改善が見られ、特にAGORAデータセットにおいては再構築の際の誤差を12.9mm改善している。

Paper URL: https://openaccess.thecvf.com/content/CVPR2023/papers/Shetty_PLIKS_A_Pseudo-Linear_Inverse_Kinematic_Solver_for_3D_Human_Body_CVPR_2023_paper.pdf

last updates: June 20 2023