1. 概要
この研究では、衣類のポーズをトラッキングするGarmentTwinを提案している。ロボットによる自動化で衣類の折り畳みを行わせようとすると、衣類の素材や現在の折りたたまれ方を正確に理解する必要があり、実世界でアノテーションすることが極めて難しいため困難なタスクとなっている。
2. 新規性
提案手法では、実世界で衣類のモデルとRGB-Dの衣服の折り畳み動画を収集しており、ClothPoseというデータセットとして公開している。データセットには10のカテゴリの600の衣類について、2000個のビデオクリップから成る30000枚のRGB-Dの動画フレームを含んでいる。
3. 実現方法
収集した実世界の衣類のモデルとRGB-Dの折り畳み動画を、物理シミュレーションベースのアニメーションにして折り畳み操作を仮想空間上で最適化して再現する。これにより、実際に観測された衣類の折り畳みのシーンと、仮想空間上の衣類のポーズを補正して合わせることができる。こうして、シミュレーションベースで3次元的な衣類のアノテーションを実現した。
4. 結果
入力のPoint-Cloudの点群情報に対しても適用可能で、提案手法ではGarmentTwinを適用して衣類の再構成を行っているが従来手法と比べて高精度な位置合わせができていることが分かる。
データセットも従来の物よりも規模が大きく、特に衣類のVertexレベルでのアノテーションはこれまで実現できていなかったため、3次元モデリングやデジタルツインの仮想世界での最適化タスクに向いている。
last updates: Oct 9 2023