背景
顔形状のリトポや fitting や non-rigid ICP とかを C++ or Python(numpy) でしたい.
ビューア
- meshlab http://www.meshlab.net/ .obj のビューア兼いくらかメッシュ処理(リダクションとか)ができます. Win, macOS, Linux で動いて, Ubuntu だと apt などで入るのでビューアとして便利ですが, 開発者が去ったのか 2016 年で開発は止まっている & 形状処理系のフィルタを走らせると高確率で落ちるという欠点があります.
ツール
Graphite
最新版(?) 1.x だと, imgui で書き直されています.
リメッシュ, UV atlas 生成などあります.
graphite3-1.7.3 #3D #graphics #programming is out
— Bruno Levy (@BrunoLevy01) December 12, 2019
Dowload: https://t.co/sWpQyphdDI
Documentation: https://t.co/XKNAFjOuTS
New in this version: better integration of XATLAS, improved gui, many bugfixes, full Linux/Windows/Mac portability. pic.twitter.com/AIUrEStS5F
Maya 2020
remesh, retopo 機能がつきました.
Blender 2.8x
2.81 あたりでリトポ機能付くっぽい?
ライブラリ
- libigl : https://libigl.github.io/ C++ ヘッダーオンリーで使えます. 形状処理研究者御用達.
- CGAL : https://www.cgal.org/ CAD/CAM 系の印象が強かったですが, 最近は顔メッシュ(softbody)に使える機能があるようですね. コンパイルがめんどいイメージです(Ubuntu だと apt で入ったような?)
- OpenMesh : https://www.openmesh.org/
- mempo : mempo.org 顔アルゴリズムライブラリ. 基本は 2D 系
形状復元とか
FLAME
4D scan から形状復元. github に TensorFlow 実装あり.
RingNet
FLAME ベース?
non-rigid ICP, non-rigid surface registration
顔形状処理で有名な Hao Li 先生の non-rigid surface registration の講義資料があります. ありがとうございます.
Introduction to Non-Rigid Registration
http://www.hao-li.com/teaching/geometricComputingSeminar/IntroductionToNonRigidRegistration.pdf
github でのコードとか...
- https://github.com/charlienash/nricp
- https://github.com/Tonsty/surfaceRegistration
- https://github.com/rishabh-battulwar/Global-Non-Rigid-ICP
論文
Statistical non-rigid ICP algorithm and its application to 3D face alignment
https://ibug.doc.ic.ac.uk/media/uploads/documents/statistical_non_rigid_icp.pdf
Non-rigid 3D Shape Registration using an Adaptive Template
http://openaccess.thecvf.com/content_ECCVW_2018/papers/11132/Dai_Non-rigid_3D_Shape_Registration_using_an_Adaptive_Template_ECCVW_2018_paper.pdf
Non-iterative rigid 2D/3D point-set registration
using semidefinite programming
https://arxiv.org/pdf/1501.00630.pdf
Global Hybrid Registration for 3D Constructed Surfaces using
Ray-casting and Improved Self Adaptive Differential Evolution
Algorithm
https://pdfs.semanticscholar.org/1f09/94cd62bcedad89b637aa6ec99f23d9942d1a.pdf
The Menpo Benchmark for Multi-pose 2D and 3D Facial Landmark Localisation and Tracking
https://link.springer.com/article/10.1007%2Fs11263-018-1134-y
https://github.com/jiankangdeng/MenpoBenchmark
アルゴリズム論文
顔フィッティング用
Extended coherent point drift algorithm with correspondence priors and optimal subsampling
https://www.semanticscholar.org/paper/Extended-coherent-point-drift-algorithm-with-priors-Golyanik-Taetz/b9600cb663b779735b5bb50a20ea5cce4c63c945
解説とか