handのlandmarkを検出するプログラムを調査中

Last updated at 2024-05-24Posted at 2024-02-27

Paper with code

HOISDF: Constraining 3D Hand-Object Pose Estimation with Global Signed
Distance Fields
pdf
github comming soon

3D Hand Pose Estimation on H3WB
pdf

NVIDIA-AI-IOT にある例

https://github.com/NVIDIA-AI-IOT/trt_pose_hand
https://github.com/NVIDIA-AI-IOT/realtime_handpose_3d

github

github　上では、異なるtopic で似たものが登録されている。

hand-pose, hand-landmark, hand-landmarks, finger-detection

github hand-pose
github hand-landmark
github hand-landmarks
github finger-detection

mediapipe でのhand pose のモデルが公開されてから、
それを利用するリポジトリが増えている。

PapersWithCode Hand Pose Estimation

PapersWithCode のサイトは、それぞれのタスクに対して、どのようなデータセットで比較されているのかを示している。
そこに、Librariesに対応する実装へのリンクがおいてあります。
★の数で、どれくらい着目されているのかを知ることができます。

対象OS：
対象CPU：
対象GPU：
対象言語：
３次元のポーズを返すかどうか：
利用しているフレームワークの種類：
学習済みのモデルファイル：
こういったことを、あなたの利用目的の中で調査してみてください。

OpenPose の場合

openpose のhand 検出器
https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/src/openpose/hand/handDetector.cpp

OpenPoseのHand Estimationを動かしてみた
注意：OpenPose それ自体のライセンスは、以下のリンク先のとおりである。
そのため、商業利用ができない。
https://github.com/CMU-Perceptual-Computing-Lab/openpose?tab=License-1-ov-file#readme

mediapipe のhand 実装

Hand landmarks detection guide

arXiv MediaPipe Hands: On-device Real-time Hand Tracking

mediapipe を使っているもの

hand pose を含む jupyter notebook

github https://github.com/yasirrustam06/Handtracking-Mediapipe

github https://github.com/yasirrustam06/Mediapipe-Holistic

github Hierarchical Temporal Transformer for 3D Hand Pose Estimation and Action Recognition from Egocentric RGB Videos

github https://github.com/MustafaLotfi/Paper-Piano
指の位置から Paper-Piano を実装している。mediapipe を利用。

解説記事

mediapipe 以外の実装

OpenMMLab Pose Estimation Toolbox

github Awesome work on hand pose estimation/tracking

Convolutional Pose Machines - Tensorflow

hand3d
Network estimating 3D Handpose from single color images

V2V-PoseNet: Voxel-to-Voxel Prediction Network for Accurate 3D Hand and Human Pose Estimation from a Single Depth Map

Finger Detection and Tracking

vision transformer ベースの実装

最近の画像認識系のタスクは、vision transformer系での実装が進んでいる。そのため、transformerとのキーワードを含めて検索してみた。

1st Place Solution to ECCV 2022 Challenge on HBHA: Transformer-based Global 3D Hand Pose Estimation in Two Hands Manipulating Objects Scenarios

この実装についてのgithub は見つけていません。

github Transformer-based Unified Recognition of Two Hands Manipulating Objects

pdf

Egocentric (自己中心)の画像での学習になっていることに留意してください。

解説記事 Hand Pose Estimation: A Survey(2019)

2024年の追記

https://github.com/owenzlz/EgoHOS

左腕、右腕と対象物のセグメンテーションをするライブラリです。
推論を行うモジュールの他にデータセットとを含んでいます。
mmcv-full というライブラリを利用している。
そのmmsegmentation　フォルダを用いている。

mim(openmim)はOpenMMLab関連のファイルのダウンロードやインストールを行ってくれるライブラリです。
参照元

- [egohos dataset root]
    |- train
        |- image
        |- label
        |- contact
    |- val 
        |- image
        |- label
        |- contact
    |- test_indomain
        |- image
        |- label
        |- contact
    |- test_outdomain
        |- image
        |- label
        |- contact

AssemblyHands: Towards Egocentric Activity Understanding via 3D Hand Pose Estimation

pdf