Jetson へのGMSLカメラを調査中

GMSLカメラを関心を持っている人は、おそらく組み込みで通信量の多いカメラを複数接続したいと思っている人でしょう。

• USB3.0 の帯域では足りない。
• MIPIではケーブル長が足りない。そもそもMIPIの階層でカメラに触りたくない。

GMSLカメラをなんとなく理解するの記事に、なぜGMSLカメラが必要なのか、GMSL規格の概要などが書かれています。

ここでは、JetsonユーザーにとってのGMSLカメラの候補を探すためのヒントを書こうと思います。
Jetosn GMSL camera で検索する以上の意味がある記事になるかどうかは不明です。

GMSL には
GMSL, GMSL2, GMSL3 の世代があります。
GMSLカメラはであれば、基本対応するインターフェースを持つボードであれば、別にJetsonであろうがなかろうが、接続できるはずのものです。

複数台のカメラ接続

複数台のカメラを接続する際には、以下のことを注意します。

• カメラの電気的なインタフェースが確保できるのか？
• カメラのデータを転送するのに帯域が足りるのか？
• カメラの解像度とfps の組合せ。
• 受け取る側がそのデータを処理しきれるのか？

動きを無視できるのか、無視できないのか？

動きを無視できる場合には、ローリングシャッター方式のカメラでもOK。
無視できない場合には、グローバルシャッター方式を選ぶ。

カメラへの要求項目

• ハイダイナミックレンジであること
• 複数のカメラの同期がとれること
• ステレオ計測の場合には、対応するカメラでゲイン設定が同じにできること
• 反射光を抑制できるように、偏光フィルタが利用できること

Jetson へのGMSLカメラ

Jetson AGX orin developer kit の場合

• Jetson AGX orin developer kitの仕様には、GMSLのカメラインタフェースについて記述がありません。
• StereoLabs のZED X の場合には、下記のcapture card を必要とします。
• https://store.stereolabs.com/en-jp/products/gmsl2-capture-card
  

Get Started with ZED X
StereoLabs のZED2iと同様にZED SDK を使って動作させることができるカメラです。
そのため、ZED SDK にある多様なサンプルが動作できるはずです。
そういう意味で始めやすいGMSLカメラだと思います。

GMSLのサポートのある場合

STURDeCAM20_CUXVR - Jetson AGX Xavier™用IP67フルHD GMSL2 HDRカメラ

STURDeCAM21_CUOAGX - Jetson AGX Orin / AGX Xavier 用 IP67 フル HD GMSL2 HDR カメラ

ティアフォー社製自動運転・自律走行ロボットに最適なカメラユニット
GMSL2インタフェース対応 HDRカメラ C1

ハイダイナミックレンジ(HDR)、高感度・低ノイズ・LEDフリッカー抑制などの対応がされたカメラです。

Orbbec Gemini 335Lg 3D depth and RGB camera features MX6800 ASIC, GMSL2/FAKRA connector for multi-device sync on NVIDIA Jetson Platforms

Jetson のボードコンピュータ（GMSLのサポートあり）

• NRU-110V Series 8x GMSL車載カメラおよび10Gイーサネット対応NVIDIA® Jetson AGX Xavier™ エッジ AIプラットフォーム

• 

• NVIDIA® Jetson™ AGX Xavier 対応/ 組み込みシステム & キャリアボード (Embedded System / Carrier Board)

• 

• Jetsonのボードコンピュータである AGX Xavierでの組み込みシステムの例です。

• GMSLのインタフェースも用意されています。

複数台接続のカメラ

• このように複数台のカメラを接続することは簡単ではない。

ADLINK社 ROS Cube-X（ROS2 Controller

自動運転カメラの高負荷、その原因はLinuxカーネルのどこに？

GMSLカメラをなんとなく理解する

利用する台数によって選択肢は変わりうる。

台数が少なければ、そのまま買ったほうが安上がり

• 単独のカメラモジュールを組合せてステレオカメラを作るには、カメラの同期やカメラキャリブレーションや、視差の算出、IMUなどとの関連付けが必要になる。
• ZED2iや ZED Xのような性能の自力で引き出すには、相当な労力がかかる。
  − 台数が少ないときに、ほんのちょっとの「改良」のために、自作をしても報われない。

利用台数が1000台、１万台を超える場合

• 利用する台数がとても多いときには、独自の改良・独自の実装をする可能性が出てくる。
• 開発工数を考慮しても、台数分を考慮したときに費用的に許容できる状況になる。
• 既存の比較になる事例に対して、独自の追加の「改良」をしうる可能性が生じてくる。
• それでも、volume discountをした方が、実績のある実装をさっさと利用できるということも覚えておこう。