最近、Depth画像（＝深度画像）が従来よりも得られやすくなってきている。

メーカー	品番	画素数	画角	距離の範囲	URL
sony	IMX456Q	640（H）×480（V） 30.7万画素		30cm ~ 10m
Panasonic	GC4N NIR型	640 × 480	標準タイプ (H) 55°		https://industrial.panasonic.com/jp/products/sensors/built-in-sensors/tof_camera
infineon	IRS2381C	224 x 172			https://www.infineon.com/cms/en/product/sensor/radar-image-sensors/3d-image-sensor-real3/3d-image-sensor-for-consumer/
ams	TMF8701 1D Time-of-Flight Sensor			10 – 60cm distance sensing	https://ams.com/ja/TMF8701#tab/features
XVISIO	Slim Edge AI				https://www.xvisiotech.com/product-solution/
XVISIO	3D Robot Vision	224x172	60 x45 degree		https://www.xvisiotech.com/product-solution/
XVISIO	3D XR Vision				https://www.xvisiotech.com/product-solution/

その結果、従来の画像認識技術の枠組みが変わり始めている。

変わってくること

セマンティックセグメンテーションが深度情報のヒントによって改善する。
- https://github.com/charlesCXK/RGBD_Semantic_Segmentation_PyTorch
追跡する対象物が、depthという情報を元に背景とピクセルベースで区別できることで、追跡の精度が向上する。

Depth画像を当たり前のものにしてしまう可能性

Introducing OAK: Spatial AI Powered by OpenCV

ドメイン適応の原理と応用
深度推定を活用したドメイン適応

ToF方式の説明

追記

Depth画像が当たり前になるときでも、到達距離の違いフレームレートの違いは残り続ける。
自分のめざすべきものがどの領域にあるのかによって、選択するデバイスは変わる。

	近距離	中距離	遠距離
低フレームレート	３次元の物体形状計測	部屋の３Dモデルの計測	建物の計測・地図作成
高フレームレート	移動速度が低いとき		高速で移動する物体

追記
ToFのDepth画像は、偽造が困難な画像だと思う。

StereoLabs のZED2i カメラはそのようなカメラの一つだ。
そのカメラのSDKには、物体検出や人体のbody-pose 検出など多様なアプリケーションが用意されている。
https://github.com/stereolabs/zed-sdk/tree/master/object%20detection/birds%20eye%20viewer/python

検出した対象物のラベルが付けられており、フレームが変わっても、同じラベルがつくようになっている。
従来の2Dの人物追跡では、前方の人物と後方の人物の枠が重なったときの追跡が保たれないことがあった。
それが、3Dカメラでは、空間的な前後関係を保たれていることで、
追跡の失敗が少なくなっている。

このようにDepth付きの画像が当たり前になるとき、
従来の画像認識のタスクは、かなり成果がでやすいものに変わっている。