画像認識の分野では、30 fps が一つの目安になっている。
しかし、実際のところ 30 fps で十分と考えるのは考えもんだ。
NTSC のTV放送の規格
- インタレース方式の 30 fps だから、一回の垂直のスキャンはその半分の時間だ。
- そのため、NTSCの信号には 60 fps の成分も含まれていた。
- しかもアナログ信号をラインごとに処理できるので、画面全体をバッファリングする必要もない。
デジタル信号での 30fps
インタレースではないので、 60 Hzの成分を持つことはない。
jpgなどの画像形式にすることは、画像のバッファリングをするので、画像のバッファリング＋画像の圧縮＋通信＋画像の復元処理などの時間が、遅延時間として含まれている。
デジタルの監視カメラの問題点は、リアルタイム性が低下しているという問題がある。
そのような影響が、カメラ利用のアプリケーションに生じている。
- 地デジ普及の当初は、アナログ放送と地上波デジタル放送の受信機が電気店で並んでいると、地上波デジタルの画像の方が遅れていることに気づいたものだ。
- 地上波デジタル放送では、NHKの時刻の時計は消えた。
リアルタイム処理のための3D計測
-
従来のマシンビジョンでは、撮像する・３D計測処理を完了する・動作計画する・制御する、とそれぞれの処理がシーケンシャルに組まれている傾向があった。
-
最近求められている処理は、絶えず撮像結果を元に3D計測処理を行いながら、動作を実行するという流れになってきている。
-
フレームレートの高い処理は、ロジックを単純化することがあります。
追跡処理は、対象物の移動範囲が狭くなるので、追跡しやすくすることにつながります。
フィードバック制御も、頻度が高いほうが、ロジックが単純になる傾向があります。 -
End-to-End の制御では、3D計測のリアルタイム性が求められる。
-
そこで、フレームレートが高い3D計測について調べ始めてみた。
注意：
- 少なくとも、こういうのがあるよという程度の結果にすぎません。
- これを糸口にもっと探してみてください。
60 fps以上の処理レートの状況を３Dカメラで調べて見よう
以上のことから、60 fps 以上の処理ができる３Dカメラの候補を調べてみることにした。
StereoLabs ZED2i
Output Resolution (Side by side)
2x (2208x1242) @15fps - cropping mode
2x (1920x1080) @15/30fps - cropping mode
2x (1280x720) @15/30/60fps - binning 2x2 mode
2x (662x376) @15/30/60/100fps - binning 4x4 mode
60 fps, 100 fps での画像の取得が可能。
Depthmapの取得については調査中。
Intel® RealSense™ Depth Camera D435i
Depth frame rate:
Up to 90 fps
（内蔵のハードウェアで算出するので、PCやjetson側の状況は関係なく動作するものと期待される。）
RGB frame rate:
30 fps
XVISIO SeerSense DS80 Module
Stereo Depth Engine 50/60 fps
SiNGRAY Stereo PRO シリーズ
ステレオセンサ解像度：1280×800 最大50fps / 640×400 最大60fps
OAK-D S2
Stereo Pair Cameras: Max Framerate 120 FPS
画像の取得についてであって、depthの計算については不明
Scarlet 3D Depth Camera
Accurate real-time image processing at 5 MP resolution
The Scarlet 3D depth camera beats our predecessor system by a factor of 2.5, at frame rates of up to 120 fps and resolution of up to 5 MP. In addition, Scarlet can process a disparity range twice as large, which leads to a doubling of the depth resolution. So with our Scarlet you can achieve even more precise 3D measurement results for your machine vision application.
Helios2+ Time of Flight (ToF) 3Dカメラ
30 FPS (Normal)
10 FPS (HDR)
103 FPS (High-Speed)
注意点
- ステレオカメラの場合、60 fps で画像が取得できることと、 60 fps でdepthが得られることとは、一般に別物である。
- 60 fps で画像が取得できても、depthの計算が追いつかないということが起きる。
- スループットが 60fps であることと、遅延時間(=latency)とは無関係である。
- 遅延時間は別途調査がいる。
以下の記事は120 fps でのToFセンサである。
太陽光に負けない 高精度に測距する3D ToFセンサー 2024年07月05日
また、センサー内に距離演算回路と信号補正用ISP（Image Signal Processor）を内蔵しているため、最大120fpsで距離（3D）画像を出力できる。また、距離（3D）画像とIR（2D）画像を同時に出力することで高い認識精度を実現した。