ZED2はステレオカメラ以上のものになろうとしている

Last updated at 2023-12-15Posted at 2020-07-25

先に　ステレオカメラとしてZEDの紹介記事を書いた。
[市販 Stereo Cameraについて調査中]
(https://qiita.com/nonbiri15/items/d341e68f9aa9345211a2)

その後継機のZED2が発売されていることに気づいた。

An all-new lightweight neural network for stereo matching brings stereo depth sensing to the next level, with a wide 110° x 70° FOV.

和訳

ステレオマッチング用のまったく新しい軽量ニューラルネットワークは、110°x 70°の広いFOVでステレオ深度センシングを次のレベルに引き上げます。

私見：ニューラルネットワークの枠組みになることの利点は、計算の高速化のアーキテクチャが多数の選択肢がある状況になってきているので、SGBMのコードよりもアーキテクチャの選択肢が増えてくるかもしれません。

ZED2は、ZEDに比べ視野角が広くなっています。
深度を求める画像センサの場合、ToFカメラとステレオカメラの場合の比較では、ステレオカメラの方がより広い視野角を実現しやすそうです。

カメラだけであることをやめています。

Featuring next-generation IMU, barometer, magnetometer and temperature sensors. Factory calibrated on 9-axis with robotic arms.

和訳

次世代のIMU、気圧計、磁力計、温度センサーを搭載。ロボットアームを使用して9軸で工場で校正されています。

ステレオカメラを使おうとする用途の場合、圧倒的に、その時刻での空間情報に関心があることが多く、移動してカメラの姿勢が変動していることが多い。そういった場合の課題として、カメラで画像を取得した時の、カメラの姿勢・方位はどうであったのが、システム構築上やっかいな問題になることが多い。それらを問題を解決するので、ステレオカメラの標準にこれらのセンサーが含まれていくことを強く希望する。

理由：
camera画像とその他のセンサの時刻のタイミングを合わせることは簡単ではない。
特に、USBを介したあとのcamera画像はタイミングが難しい。cv2.VideoCapture()の read()を使ったときには、内部でバッファリングされているために、そのread()で取得した画像が、どれくらい前のものかを知る方法はない。
特にIMUのデータと同期してデータを取得できるようにするには、IMUデバイスとの接続があるボード設計、画像信号処理とのひも付け、そういったものを、ステレオカメラを組み込み用途に使う人が行わなくてはならないのです。
　ステレオカメラの側、もしくは対象物の側の移動速度が大きいときには、２つのセンサの時刻のズレが問題になり続けます。
　ですから、そういったものを予めステレオカメラに含まれて提供されることの意味はとても大きいのです。

Object Detection
Persons, Vehicles

Skeleton Tracking

18x Body Keypoints
Head Bounding Box
Up to 10m Range

ZEDシリーズの場合、SDKを提供していて、視差を導出するなどの計算はCPUやGPUを使うものになっている。

This sample is the perfect place to get started coding with the ZED and OpenCV. It shows how to:

Capture image, depth and point cloud from the ZED.
Convert image and depth map to compatible 32-bits float OpenCV matrix.
Display video and depth with OpenCV.
Adjust several depth parameters: depth sensing mode, quality, units, resolution.
Save side by side image, depth image and point cloud in various formats

darknet のMakefile にも ZED対応がある。
https://github.com/AlexeyAB/darknet/blob/master/Makefile