背景

顔形状のリトポや fitting や non-rigid ICP とかを C++ or Python(numpy) でしたい.

ビューア

meshlab http://www.meshlab.net/ .obj のビューア兼いくらかメッシュ処理(リダクションとか)ができます. Win, macOS, Linux で動いて, Ubuntu だと apt などで入るのでビューアとして便利ですが, 開発者が去ったのか 2016 年で開発は止まっている & 形状処理系のフィルタを走らせると高確率で落ちるという欠点があります.

ツール

Graphite

最新版(?) 1.x だと, imgui で書き直されています.
リメッシュ, UV atlas 生成などあります.

graphite3-1.7.3 #3D #graphics #programming is out
Dowload: https://t.co/sWpQyphdDI
Documentation: https://t.co/XKNAFjOuTS
New in this version: better integration of XATLAS, improved gui, many bugfixes, full Linux/Windows/Mac portability. pic.twitter.com/AIUrEStS5F
— Bruno Levy (@BrunoLevy01) December 12, 2019

Maya 2020

remesh, retopo 機能がつきました.

Blender 2.8x

2.81 あたりでリトポ機能付くっぽい?

ライブラリ

libigl : https://libigl.github.io/ C++ ヘッダーオンリーで使えます. 形状処理研究者御用達.
CGAL : https://www.cgal.org/ CAD/CAM 系の印象が強かったですが, 最近は顔メッシュ(softbody)に使える機能があるようですね. コンパイルがめんどいイメージです(Ubuntu だと apt で入ったような?)
OpenMesh : https://www.openmesh.org/
mempo : mempo.org 顔アルゴリズムライブラリ. 基本は 2D 系

形状復元とか

FLAME

4D scan から形状復元. github に TensorFlow 実装あり.

RingNet

FLAME ベース?

non-rigid ICP, non-rigid surface registration

顔形状処理で有名な Hao Li 先生の non-rigid surface registration の講義資料があります. ありがとうございます.

Introduction to Non-Rigid Registration
http://www.hao-li.com/teaching/geometricComputingSeminar/IntroductionToNonRigidRegistration.pdf

github でのコードとか...

https://github.com/charlienash/nricp
https://github.com/Tonsty/surfaceRegistration
https://github.com/rishabh-battulwar/Global-Non-Rigid-ICP

論文

Statistical non-rigid ICP algorithm and its application to 3D face alignment
https://ibug.doc.ic.ac.uk/media/uploads/documents/statistical_non_rigid_icp.pdf

Non-rigid 3D Shape Registration using an Adaptive Template
http://openaccess.thecvf.com/content_ECCVW_2018/papers/11132/Dai_Non-rigid_3D_Shape_Registration_using_an_Adaptive_Template_ECCVW_2018_paper.pdf

Non-iterative rigid 2D/3D point-set registration
using semidefinite programming
https://arxiv.org/pdf/1501.00630.pdf

Global Hybrid Registration for 3D Constructed Surfaces using
Ray-casting and Improved Self Adaptive Differential Evolution
Algorithm
https://pdfs.semanticscholar.org/1f09/94cd62bcedad89b637aa6ec99f23d9942d1a.pdf

The Menpo Benchmark for Multi-pose 2D and 3D Facial Landmark Localisation and Tracking
https://link.springer.com/article/10.1007%2Fs11263-018-1134-y
https://github.com/jiankangdeng/MenpoBenchmark

アルゴリズム論文

顔フィッティング用

Extended coherent point drift algorithm with correspondence priors and optimal subsampling
https://www.semanticscholar.org/paper/Extended-coherent-point-drift-algorithm-with-priors-Golyanik-Taetz/b9600cb663b779735b5bb50a20ea5cce4c63c945

解説とか