Depth付きの画像が当たり前になるとき

最近、Depth画像（＝深度画像）が従来よりも得られやすくなってきている。

• RGBDが得られるハードウェアデバイスが提供されてきている。

  • 「AQUOS R5G」に採用された3D ToFイメージセンサー

  • auから「Galaxy S20+ 5G SCG02」、ToFカメラ搭載の5G対応スマートフォン

  • 4眼カメラ＋TOFセンサー搭載のHuawei P40 Pro+登場、Googleなしでやっていく覚悟か

  • TOFセンサー搭載はiPhone12 Proシリーズのみか〜下位モデルと差別化

  • iPhone 12: Pro and Pro Max devices rumoured to boast 6GB RAM and A14 chipset
    According to Weinbach, the phone will boast a triple-camera setup with Time-of-Flight (ToF) sensor. It will be the first Apple phone to sport a ToF sensor.

  • TOFセンサー市場の拡大と、コストダウンへの期待

  • TMF8701 1D Time-of-Flight Sensor

  • 裏面照射型Time of Flight方式距離画像センサーを商品化

  • TOFカメラ 開発/評価サンプルキット USB I/Fボード付き

  • ＴｏＦ測距センサーモジュール

  • 長距離で高い測距精度を有するTOF方式長距離画像センサを開発

メーカー	品番	画素数	画角	距離の範囲	URL
sony	IMX456Q	640（H）×480（V） 30.7万画素		30cm ~ 10m
Panasonic	GC4N NIR型	640 × 480	標準タイプ (H) 55°		https://industrial.panasonic.com/jp/products/sensors/built-in-sensors/tof_camera
infineon	IRS2381C	224 x 172			https://www.infineon.com/cms/en/product/sensor/radar-image-sensors/3d-image-sensor-real3/3d-image-sensor-for-consumer/
ams	TMF8701 1D Time-of-Flight Sensor			10 – 60cm distance sensing	https://ams.com/ja/TMF8701#tab/features
XVISIO	Slim Edge AI				https://www.xvisiotech.com/product-solution/
XVISIO	3D Robot Vision	224x172	60 x45 degree		https://www.xvisiotech.com/product-solution/
XVISIO	3D XR Vision				https://www.xvisiotech.com/product-solution/

• ステレオカメラでの視差の計算によるdepthの計算が高速化されてきている。
• 単眼カメラ画像から深度画像を推定する方法が深層学習で実現されている。
  • https://github.com/ialhashim/DenseDepth
  • https://github.com/YvanYin/VNL_Monocular_Depth_Prediction
  • https://github.com/iro-cp/FCRN-DepthPrediction

その結果、従来の画像認識技術の枠組みが変わり始めている。

変わってくること

• セマンティックセグメンテーションが深度情報のヒントによって改善する。

  • https://github.com/charlesCXK/RGBD_Semantic_Segmentation_PyTorch

• 追跡する対象物が、depthという情報を元に背景とピクセルベースで区別できることで、追跡の精度が向上する。

Depth画像を当たり前のものにしてしまう可能性

Introducing OAK: Spatial AI Powered by OpenCV

単眼画像からのDepth推定の結果でさえ、セマンティックセグメンテーションに影響しだしている。

ドメイン適応の原理と応用
深度推定を活用したドメイン適応

ToF方式の説明

---

追記

Depth画像は計測上の限界がある。

• 反射光を利用するため、遠方になるほど反射光が戻りにくいので、遠方の距離に限界がある。
• 反射光を利用するため、照射光が素材によって吸収率が高いと、反射光が戻りにくく、本来なら計測可能な距離にあっても、距離の計測ができなくなる。
• 反射光を利用するため、透明な素材では、光が透過してしまうため、透明な素材の物体の距離ではなく、その先の物体の距離が計測される。
• 微弱な反射光を利用するため、外乱光の影響をどのように避けることができるか、強力な直射日光のもとでは、ToFでDepth画像を撮影できる装置は、 限られる。

---

Depth画像が当たり前になるときでも、到達距離の違いフレームレートの違いは残り続ける。
自分のめざすべきものがどの領域にあるのかによって、選択するデバイスは変わる。

	近距離	中距離	遠距離
低フレームレート	３次元の物体形状計測	部屋の３Dモデルの計測	建物の計測・地図作成
高フレームレート	移動速度が低いとき		高速で移動する物体

---

追記
ToFのDepth画像は、偽造が困難な画像だと思う。

追記(2023)　RGBD画像でのセグメンテーションの比較が以下の場所にある。

• 比較は、同一のDatasetでなされている。
• この比較を元に利用可能な実装を探すとよさそうだ。

StereoLabs のZED2i カメラの例(2024年追記)

StereoLabs のZED2i カメラはそのようなカメラの一つだ。
そのカメラのSDKには、物体検出や人体のbody-pose 検出など多様なアプリケーションが用意されている。
https://github.com/stereolabs/zed-sdk/tree/master/object%20detection/birds%20eye%20viewer/python

検出した対象物のラベルが付けられており、フレームが変わっても、同じラベルがつくようになっている。
従来の2Dの人物追跡では、前方の人物と後方の人物の枠が重なったときの追跡が保たれないことがあった。
それが、3Dカメラでは、空間的な前後関係を保たれていることで、
追跡の失敗が少なくなっている。

このようにDepth付きの画像が当たり前になるとき、
従来の画像認識のタスクは、かなり成果がでやすいものに変わっている。