@bachlong

Are you sure you want to delete the question?

If your question is resolved, you may close it.

Leaving a resolved question undeleted may help others!

We hope you find it useful!

照明変動下での白/グレーのロボットハンドにおける手首・手のひら追跡の安定化(OpenCV/MediaPipe、10–30 FPS、オフライン)

白/グレーのPEPPERロボットハンドの座標を、さまざまな照明条件下でカメラから追跡しています。要件は リアルタイム 10–30 FPS、オフライン動作です。
目的
手のひらと人差し指先(基準点)の位置を安定して取得し、そこから手の向き/座標を推定する。
軽量・高速・実装容易・オフラインを優先。
前提・制約
デバイス:カメラ、深度センサ。
照明:大きく変動(LED/蛍光灯、影・反射あり)。
試したこと
MediaPipe Hands:model_complexity、min_detection_confidence、min_tracking_confidence、ROI クロップ等を調整。
ただし学習データが人の手であるため、白/グレーのロボット手では精度が低く(誤検出多い、リコール不安定)、多くを試しても改善は**約 50%**どまり。
相談・質問
白/グレーのロボット手に対して、照明変動に強い前処理はありますか?(可能ならHSV の推奨レンジも知りたいです)
アルゴリズム面で、誤検出(False Positive)を減らすために追加/削除すべき工程は?(例:カラーマスク+形態学処理+手首〜手のひらの幾何制約+トラッカー)
MediaPipe Handsを使い続ける場合、model_complexity / min_detection / min_tracking の設定や スケール/ROI は、白/グレー手が明るい背景と混同されにくいようにどう調整すべきでしょうか?
より軽量で **リアルタイム(< X ms/フレーム)**に適したモデルはありますか?(例:ArUco / AprilTag を用いたカラー・マーカー、tiny hand detector など)
深度情報を活用する場合、前腕〜手の領域だけを残して背景を除去するためのマスク/ヒューリスティックで有効な戦略はありますか?

どうぞよろしくお願いします!
2.jpg
1.jpg
3.jpg

0 likes

1Answer

ご期待されている回答ではないかもしれませんが、検出対象となるpepperの手でファインチューニングなど追加学習をするのが、一番近道ではないかなと思います。
手のモデルの学習はやったことはないのですが、独自モデルの物体検出や特徴抽出をしています。
特徴抽出では、元は人検出の特徴モデルですが、なんとなく分類してくれるのですがやはり不十分で、追加学習かゼロから学習する方がいいだろうと感じています。(未実施)
opencvによる画像処理で人の手に見えるようになればいいかと思いますが、pepperの手では光の向きなどで反射なども大きいのではないか?と予想しています。
例では少し斜めにされた例ですが、光加減でも検出精度が大きく落ちてしまうのではないかと思います。
画像処理にて検出精度をある程度緩和できるだろうとも思いますが、いろいろ画像処理を工夫をして処理速度が落ちてきても、ある特定のパターンでは検出できない、ということに陥るのではないか?と予想しています。
しっかりとpepperの手を検出されたいということであれば、pepperの手でモデルを学習するのが最短で最善ではないでしょうか。

1Like

Comments

  1. @bachlong

    Questioner

    ご回答いただきありがとうございます。私もご意見に同意いたします。
    ただ、もし学習を進める場合には、どのようなモデルを使用するのが適切かを現在検討しております。
    また、この検出タスクに適したモデルが他にあるのかどうかについても考えています。

Your answer might help someone💌