1. 概要
Deep functional mapsは、非剛体3Dシェイプ対応タスクにおいて成功している。特に、学習された特徴量は、直接異なる形状間で比較できる点ごとの記述子として使用することができ、また、学習された特徴の構造的特性を促進する改良を提案し、理論的な特性を促進する簡単なアーキテクチャの変更によってDeep functional maps特徴抽出の外向型アーキテクチャを改善することが可能である。これにより、形状マッチングの成功に必要かつ十分な条件を提供し、内在的および外在的表面ベースの学習のギャップを埋めることができる。
2. 新規性
形状間の対応付け問題に対する新しい深層学習パイプラインを提案している。このパイプラインは、形状間の機能的なマップを学習することにより、独自の手法と既存手法の違いを強調する。このパイプラインでは、形状の特徴量を抽出するためのニューラルネットワークを用いており、この特徴量を基に最適化された機能的なマップを求めることができる。また、このパイプラインは、学習データが制限されている場合でも使用でき、教師あり・なしの両方の損失関数を使用することができる。しかし、この手法ではニューラルネットワークの特徴量を用いて最適化を行うことが目的であり、実際に抽出された特徴量がどのように使用されるかは不明である。
3. 実現方法
深層学習を用いた関数マップにおいて、プローブ関数を用いた点毎の記述子と、従来の関数マップによる点対応との等価性を実証し、より高精度な点対応を得るための手法を提案している。それにより、既存手法では失敗する困難な場合でも、より高い精度を得ることができる。具体的には、互換性が期待できる正しい構造条件を持つ堅牢な関数マップを使用することで、より高い精度を得ることができる。また、特徴抽出器においては、Laplacian基底によるスムーズな特徴を取り扱うことを提案している。
4. 結果
FAUST、SCAPE、SHREC'19など5つのデータセットを使用し、外部特徴抽出器DGCNN、DeltaConv、および内部特徴抽出器DiffusionNetを使用して、実験を行った。結果として、提案手法が、すべての機能抽出器で性能を向上させ、特に元の特徴抽出器で失敗していた場合でも、同等の結果を得られることがわかった。また、習得された特徴が幾何学的な意味を持ち、またp2pマップを計算しなくても直接形状マッチングに使用できることを明らかにした。最後に、ランダムな点座標よりも事前にトレーニングされた特徴が、他のタスクに対しても一定の汎化能力を持つことを示した。