TransCG 透明物体の把持のためのデータセットの例

これも、透明物体の把持のためのデータセット

pdf TransCG: A Large-Scale Real-World Dataset for Transparent Object Depth Completion and A
Grasping Baseline

github https://github.com/Galaxies99/TransCG
transcg dataset https://graspnet.net/transcg

TransCG: TransCG is the first large-scale real-world dataset for transparent object depth completion and grasping. We provide the original RGB-D images as well as the refined ground-truth depth images in the dataset. The transparent object pose, transparent object mask, the ground-truth surface normals and transparent object models are also provided.

Intel RealSense D435 camera and an Intel RealSense L515 camera.

Fig. 3 の中で、３D scannerを別途使用している。

we temporarily wrap the transparent object with some opaque materials that can preserve the shape of objects, and obtain its 3D model with a Shining3D EinScan-SP scanner2.
透明な物体を、物体の形状を保持できる不透明な材料で仮包し、Shining3D EinScan-SPスキャナ2 を使って3Dモデルを取得する。

問題を扱いやすくするために、fixer with markerを使っている。
それを使うことで、姿勢の算出がしやすくなっっている。

3D　scanner

    |   |-- rgb1.png                    # RGB image of perspective 0 (D435 camera) (if exists)
    |   |-- depth1.png                  # Raw depth image of perspective 0 (D435 camera) (if exists)       
    |   |-- depth1-gt.png               # Refined ground-truth depth image of perspective 0 (D435 camera) (if exists)  
    |   |-- depth1-gt-mask.png          # Transparent object mask for depth image of perspective 0 (D435 camera) (if exists)
    |   |-- depth1-gt-sn.png            # Ground-truth surface normals of perspective 0 (D435 camera) (if exists)

データセットのファイル構成については https://graspnet.net/transcg に記載がある。

DFNet

• この論文中で提案しているdepth算出のアルゴリズム
  

ClearGrasp, LIF-Rfine, TranspareNet, DFNet との比較を実施している。

DFNet では、model size が小さく Inference Timeも少ない。(Table II)

Error Mapの値が小さいものがよい。(Fig. 5)

DFNetのアルゴリズムの中では、RGB画像と不十分なdepthデータをもとに、refined Depthを算出している。
(Fig. 4)