システムによっては、複数台のカメラを接続する必要がある。
そのために、次の条件が必要になる
- 複数台のカメラを接続できる電気的なインタフェースを持つこと
- その複数台の電気的なインタフェースから信号を読み取れること
- そのOSでカメラドライバが認識されること
- 実際に画像が取得できること
通常は、こういった部分をすでに用意されている環境でカメラを使っているので、自分でカメラシステムを構築しない限り考えなくてすむ。
複数台のカメラシステムを組むときに考えなくてはならなくなること
- それらのカメラは、常時カメラ画像を取得しなければならないものであるかどうか。
- カメラの画像の画像サイズ・フレームレートはいくらであるのか。
- カメラでの転送データはどのようなデータ形式なのか。
- 複数台のカメラは同期している必要があるのかどうか。
- 遅延はどのようであるのか
- タイムスタンプは入っているのかどうか。
- リアルタイム性はどの程度必要か。
- リアルタイム性を必要としないほどシステムは構築しやすい。
- 複数カメラの画像を独立に処理できるか。
- 複数カメラの画像を独立に処理できるときは、システムの構築が楽になる。
- 例：
起こりがちな問題点
- 画像サイズとデータ定式・フレームレートの組み合わせでは、そのインタフェースで規定されている転送レートを超えてしまう。
- 対策例：YUV422などのデータ形式を用いる。
- 対策例：jpegなどの圧縮済みデータを転送する。(エンコード・デコード処理が加わることで、レイテンシが増える。)
- jpeg画像への圧縮にすると、エンコード・デコードの時間だけ遅くなってしまう。
- 他にも、圧縮ノイズが画像認識・画像処理の際に悪さすることがある。
- 同期していないカメラ画像は、ステレオカメラ処理ができない。
- だから、市販されているステレオカメラは同期がとれるようになっている。
- 同期されていないカメラからは、整合性のある解釈ができないことがある。
- 遅延は、リアルタイム性を必要とするアプリケーションにおいて悪さをする。
- 遅延がどの程度発生しうるのかのワーストケースを見積もること。
- タイムスタンプの入っていない画像・それに基づく検出結果は、判断に使えない場合がある。
- リアルタイムの動作を期待するものの場合、必ずタイムスタンプを利用すること。
- データのコピーが発生しまくることが、システムを遅くする。
- 画像データの転送にCPUを介在させないこと
複数台のカメラシステムを組むときのCPUボード側の問題点
- 複数台のカメラを受け取れるインタフェースを持っているか、データ転送を受けきれるかは、CPUボード側の問題でもある。
- そのため、CPUボード側の問題を切り離して、マルチカメラ側だけを議論しても価値を持たない。
- 6つのカメラモジュールを接続できる例
- GMSL2 カメラである。
- 同軸ケーブルの長さを伸ばせる。
e-CAM130A_CUXVR - Four Synchronized 4K Cameras for NVIDIA® Jetson AGX Xavier™
Linux camera driver (V4L2) for 13.0 MP MIPI CSI-2 camera module
Micro-Coaxial Cable Length : 30 cm (1 m**)
なので、標準では30cmしか引き伸ばしできない。
複数台のカメラから物体検出をする例
画像を別々に処理できる場合なら
案： 複数のRaspberryPiによる接続と検出処理
- 検出結果だけをRaspberryPiから送信する。
- メインのボードでそれらを受け取って、結果を統合する。
利点： - カメラの受け口をRaspberryPiの数だけ増やせる。
- 受信したカメラ画像をそれぞれのRaspberryPiで処理できるので負荷を分散できる。
- RaspberryPiとメインのボードはEthernetで接続すればよいので、接続が簡単になる。
- 送信する内容が検出結果だけになるので、処理が簡単になる。
欠点： - 入力数に応じてRaspberryPiの台数が増える。
参考複数のビデオストリームの場合
- 複数台のカメラからの人検出は監視カメラのモニタリングシステムなどで実現されている。
- 必要に応じてそういったものを参考にすること。
- NVIDIAのソリューションによっては1台のPCもしくは1台のJetson で、複数カメラに対して同時に物体検出を動作させている例がある。
車載分野のマルチカメラの利用例
引用元
運転席よりもさらに前方の位置から180度の視野のカメラを利用することで、見通しの悪い場所での安全を確保しやすくなります。
ステレオ計測のマルチカメラ化
- ステレオ計測だと欠損点が多数生じてしまうので、それを補うようにマルチカメラ化のアプローチが存在する。
マルチカメラシステム ― 2 個から 60 個のカメラを使ったシステム-
マルチカメラ 3D センシングによる 360 度ステレオビジョンのプロトタイプを開発
引用元
車載の広角カメラの組み合わせで、各方位へのステレオ計測を可能にしている。
多視点カメラ
１つの対象物に対して複数の視点から撮影するのは、多視点カメラと呼ばれる。
多視点カメラというキーワードで検索してください。
Jetsonを利用したJetson プラットフォーム
NRU-110V Series: 8x GMSL車載カメラおよび10Gイーサネット対応NVIDIA® Jetson AGX Xavier™ エッジ AIプラットフォーム
マルチビューステレオ（multiview stereo）というキーワードも使われます。
multi-view-stereo のGithub上のリポジトリのリスト(Starの多い順)
上記のリンクをご覧ください。
Github Meshroom
Meshroom is a free, open-source 3D Reconstruction Software based on the AliceVision Photogrammetric Computer Vision framework.
Learn more details about the pipeline on AliceVision website.
Youtube Meshroom: Open Source 3D Reconstruction Software
Github COLMAP
COLMAP is a general-purpose Structure-from-Motion (SfM) and Multi-View Stereo (MVS) pipeline with a graphical and command-line interface.
OpenMVS
github https://github.com/cdcseacave/openMVS
[引用元](github https://github.com/cdcseacave/openMVS)
日本語での解説記事 OpenMVS：Multi-View Stereoによる3次元復元ライブラリ
github SimpleRecon: 3D Reconstruction Without 3D Convolutions
MultiViewSteroNet
MultiViewStereoNet is a learning-based method for multi-view stereo (MVS) depth estimation capable of recovering depth from images taken from known, but unconstrained, views. Unlike existing MVS methods, MultiViewStereoNet compensates for viewpoint changes directly in the network layers.
Youtube MultiViewStereoNet: Fast Multi-View Stereo Depth Estimation
github DeepViewAgg [CVPR'22 Best Paper Finalist 🎉]
pdf Learning Multi-View Aggregation In the Wild for Large-Scale 3D Semantic Segmentation
SfM-MVS（Structure from Motion - Multi-View Stereo）
pdf UAV空撮画像における3次元モデリング（SfM/MVS）ソフトウェアの形状特性比較
pdf ②３次元空間モデリングシステムの構築 －廉価に３次元空間をモデル化する技術の開発
github https://github.com/FlagArihant2000/sfm-mvs
OpenDroneMap
- ドローンの分野は、SfM, MVSの両方が用いられる分野だ。次のように書かれている。
ODM turns simple 2D images into:
Classified Point Clouds
3D Textured Models
Georeferenced Orthorectified Imagery
Georeferenced Digital Elevation Models
MATLAB 複数のビューからの structure from motion
これらの画像から、点群と、それぞれの視点位置とを算出する。
車載関係の分野でのマルチビューの記事
この記事は、参考になりました。
Transformerベースの物体検出が、マルチカメラでどのように扱われているのかを概観を知ることができます。