以下の記事は素人が書いているものであり、勘違いや引用間違いがあるはずです。
各人は、カメラの提供元などに確認してほしい。
ToFカメラには、提供の状況について階層がある。
ToF Imageセンサの提供の階層
１．USBなどの標準的なインタフェースが用意されているもの
- USB以外のインターフェース
GigEインタフェース（M12接続のEthernetポート）を持つものがある。
GigEインタフェースは、産業用のカメラで使われることがある。
USBのケーブルは、そのままでは十分に固定されていないことが多く、ちょっとした衝撃で抜けてしまうのは対策をとっておきたい。
２．MIPIなど回路に近い階層で用意されているもの
- この階層では、対象とするボードにMIPIのコネクタがあること。
- MIPIで接続されたデバイスをOSで認識できるようにすること。
- この部分の作業が自力でできないときは、カメラのドライバー開発をしている業者にコンタクトをとろう。
３．ToF Image Sensor それ自体のパッケージ。
- この階層で作業をすることは、カメラ開発メーカーに所属しているのでない限りおすすめしない。
- この階層を知っていると、どのセンサーメーカーがどのような方式で提供しているのかという状況を把握できる。
- 同じセンサーを用いているのは、どの製品とどの製品なのかがわかれば、性能についてのヒントを得られるだろう。
ToF Image センサの信号強度の距離依存性
- ToFでは、投射光を受光するまでの飛行時間(time of flight)を測定する。そのため、投射光が反射して返っている際には、距離の４乗で減衰する（はずだ）。
- そのため、ある距離をすぎると、反射光の検出限界を下回ってしまって、距離が得られなくなる。
- ある種のToF Image sensorでは、微弱な光を増幅するために、アバランシェフォトダイオード（APD）画素を用いたりしている。
屋外対応の有無
また、屋外では、太陽光に含まれる近赤外光に埋もれて、反射光が検出できなくなってしまうという制約がある。
ToFカメラでも屋外対応のものがあり、940nm光を利用している。
LUCID, Vzense に屋外対応機種がある。
屋外対応のToFに940nmが使われる理由
「水蒸気（H2O）によって820nm付近、860nm付近、940nm付近などいくつかの波長帯で減衰が見られます。」
TOFカメラについていてほしいもの
- IMU(慣性計測装置)
- タイマー
取得した点群からカメラの姿勢の変動分をキャンセルするためには、IMUが必須になります。
画像データは、画像処理や画像認識の処理時間のため、得られる結果は遅延をもったものになります。
その得られた結果がどの時点のものなのかを知るためには、時刻情報が必要で、画像や認識結果がその時刻に紐付けられていることが大事になります。
接続先のPCボートの種類・OSの種類
- それが、どのようなコンピュータに接続できるか、またそのOSの種類はどうなのかというのも確認しよう。
- USBポートやEtherのポートだったら、x86系のCPUボード、Arm系のCPUボードにはある。
- しかし、そのボードのその対象OSで、そのカメラデバイスを認識できるかどうかはわからない。
- ぜひ、提供元に質問することだ。
ToFカメラの一例
Uctronics
Yotube Time of Flight (ToF) Camera for Raspberry Pi
Raspberry PiまたはNvidiaのJetson用に特化した設計のMIPI-CSI2接続のToFカメラで、4 mまでの範囲を2 cm未満の高精度で測距できます。
特徴
リアルタイム点群(Point Cloud)、depth map生成
解像度 : 240 x 180 @30 fps（Raspberry Pi 4 / CM 4接続時）
最大4 mの測距範囲
940 nmレーザ搭載により外部光源不要
V4L2ベースのカーネル
C/C++/Python SDK
外形寸法 : 38 x 38 mm
Raspberry PI 用のTOFカメラの関連記事
https://fabcross.jp/news/2022/20220912_tof_camara_for_raspberrypi.html
https://www.arducam.com/time-of-flight-camera-raspberry-pi/
アナログデバイセズ もしくは CIS
マクニカ アナログデバイセズ ADDI9036
Yotube アプリケーションの開発を加速するToFカメラモジュール
深度を測定することで3次元データを取得できるToFカメラ開発プラットフォーム DCC-RGBD1
品番 DCC-RGBD1
YUV + D (Depth+IR) data are synchronized to be output
Wide depth range (15cm to 5m) with less than 2% of deviation ratio.
Two lights laser diode with wave length 850nm are used. (indoor use only)
ROS driver package is available.
CIS
Youtube CIS社 30万画素 ToF 小型AIスマートカメラ SCM1-ToF1
pdf 資料
https://www.ciscorp.co.jp/product/pdf/ceatec.pdf
これも DCC-RGBD1 であって、同一のモジュールが複数のルートで販売されているように見える。
LUCID Vision Labs
Youtube Helios2 Time of Flight (ToF) 3D Camera - IP67, Sub-Millimeter Precision
このカメラは、産業カメラ品質をめざしたToFカメラと言っていいのではないかと思います。
M12 Gigabit Ethernet Port を使って接続します。
GigEです。
LUCID の代理店は複数あります。
マイクロ・テクニカ
日本エレクトロセンサリデバイス株式会社
株式会社レスターコミュニケーションズ
レスターエレクトロニクス
エドモンド・オプティクス
e-con Systems
Youtube Robotic ARM demo using Time-of-Flight (ToF) Camera | DepthVista | e-con Systems
DepthVista_MIPI_IRD - NVIDIA Jetson AGX Orin / AGX Xavier用3D ToFカメラ
3D 深度と IR イメージングの両方をストリーミング
屋外/屋内用途に最適
ハードウェア トリガー
NVIDIA Jetson AGX Orin/Xavier 開発キットにプラグイン
最大 3 台のカメラをサポートするマルチカメラ (干渉なし)
最大深度範囲 8.5m (デフォルトでは 6m)
MIPI CSI 2
サンプル価格 USD 549
写真では、NVIDIA Jetson AGX Orinに接続した例を示しています。
XVISIO
ToF カメラであると同時にFisheyカメラ２台を持ち、stereo depthを計算するengineを持つ。
ほかにRGBカメラも持つ。
引用元
https://www.xvisiotech.com/product-center/
https://www.xvisiotech.com/product/seersense-ds80/
Xvisio DS80
XVisio XR59
これは基線長 50 mm のステレオカメラ。
ToFセンサはない。
ここに書いてあるSeerSenseモジュールは、代理店で扱っている。
その代理店の１つがHMS社である。
HMS
https://www.hms-global.com/product/A-series
シリーズがあるので、それぞれ別途確認してほしい。
XVISIO社とHMS社の関係、SiNGRAY ブランドとの関係がわかりにくい。
代理店
https://www.hms-global.com/
キャノンITソリューションズ
HMS社製AIスマートカメラ「SiNGRAY Stereo PRO」を使ってVSLAMのソリューションを提供している。
ガイドレスAGV/AMR向け Visual SLAMソリューション “自己位置推定システム with Vision-based Navigation Software”を販売開始
ちなみに自己位置推定のシステムに使われているカメラはグレースケールのステレオカメラを使っている。
未調査
Basler AG
Baslerも産業用カメラ品質のToFカメラです。
Depthで十分なとき
https://www.baslerweb.com/ja-jp/cameras/basler-tof-camera/
RGBとDepthのとき
https://www.baslerweb.com/ja-jp/cameras/basler-tof-camera/rgb-d-solution/
Shenzhen PointCloud Intelignect Technology
Vzense Tcehnology
Enhancing Perception with Vzense: Pioneering Industrial-Grade 3D ToF Sensing Technology
Youtube Vzense
上記のサイトにVzenseに関する動画がある。
Vzense の国内代理店
micro-technica
LIPSedge
LIPSedge™ DL Best-in-One 3D Time-of-Flight Camera
このカメラでは、ToFカメラの視野と類似のRGBカメラを持っています。
850nm 光であり、屋外環境に対応していません。
Operating Range:
Near Mode 0.2 ~ 1.0m
Normal Mode: 1 ~ 4m
IMUは用意されていない様子。
cube eye
シキノハイテック
3Dカメラモジュール
ToFカメラとはじゃっかん方式が違うようだが、ToFカメラのように深度画像が得られるセンサ
メイコーエンベデッドプロダクツ
Leopard Imaging
引用元
GMSL2 インタフェースのToFカメラ。
ToFカメラだけであって、ステレオカメラ、RGBカメラを持たない。
IMUも持ち合わせていない。
推測するに、車載分野で他のセンサと合わせて使うことを前提としているのだろう。だから他のカメラやIMUを持たないという選択をしているのだろう。
遠距離でも計測できる高感度のToF Image センサ
Toppan
凸版印刷、ブルックマンテクノロジと共同で30mの範囲で距離を測定できるハイブリッド駆動ToFによる3Dセンサを開発
1～30mの範囲で距離を測定できる「ハイブリッド駆動ToF（Time of Flight）方式」（※）による「三次元距離画像センサ（以下 3Dセンサ）」を開発した。
ToF Image センサ自体の情報
Nuvoton
Nuvoton's ToF and Object Detection Solutions at Embedded World 2023
Nuvoton
提供形態：ベアチップ
とある。
USBなどのインタフェースで利用したい人には、関係がなさそう。
APD（アバランシェフォトダイオード）を利用したかつてのPanasonicのToFセンサはNuvotonになった。売却の記事
Sony Semiconductor
ToF Image Sensor だけの供給。
SonyのToFセンサを搭載したカメラのリストは、上記のwebページから問い合わせることができる。
Teledyne
この会社もToF イメージセンサ自体の開発をしている。
これを組み込んだToFカメラモジュールは別の会社になる。
英国TELEDYNE e2v社、ToFセンサ最新モデル「超高速フレームToFセンサ《Hydra 3D》」をリリース
興味深いことには、距離画像の他にIRの画像の表示があることである。
近赤外での画像が得られるのだろうか。
おまけ
点群(Point Cloud)をグリグリと回転させて遊ぶ
以下の製品サイトの中に点群データをアクセスできるのがある。
点群データを含むサイト
点群データの例
plyファイルは、点群データの標準的なファイルである。
meshlab
MeshLab のインストール（Ubuntu 上）
TOF画像とIR画像とを組み合わせるとできること
このような表示ができる。
PointCloud View とDepth Map Viewとの違い
Depth Map View は、ToFカメラ画像の画素位置が単位になります。Infrared View も同じく画素位置が単位になります。
そのため２つは、位置があっているので、両者を組み合わせた画像が作れます。それがOverlay View です。
色相をDepth Map からとり、明暗を Infraredからとって組み合わせた画像です。
人にとって解釈しやすい画像になります。
一方、PointCloud View はX,Y,Zの3次元上の画像の点を、射影面に投影したものになります。
深度の値を点の表示色としています。
そのため、右肩の見え方が、他の画像と異なっています。
点群について、物体の表面を埋める処理をしていないので、いたる所に欠損値が黒く見えています。
ToFカメラを使ってできること
ToFを用いた3D計測例
段ボールの寸法をToFで測定する。
- 以下のビデオでは、直方体で合わせ込むことで、段ボールの寸法を測定している。
3D Dimension Measurement with 3D Depth Camera - LIPS 3D Ruler Solution
ToFの測定原理についての説明
以下の記事が参考になります。
【Webマガジン Vol.32- Apr., 2020】Column: TOF イメージセンサーについて
OpenCV AI Kit
Introducing: OpenCV AI Kit (OAK) Series 2 Cameras
Luxonis OAK-D S2（自動焦点版） - OpenCV DepthAIカメラ
これはステレオカメラのようだ。
調査結果をwebで共有する利点
- 自分がよいと思っているものを使ってくれる人が増えれば、そのデバイス・ライブラリの供給が安定することにつながると思う。
- 自分がよいと思っているものを使ってくれる人が増えれば、そのデバイスをサポートするライブラリが増えるきっかけになればうれしい。
- 調査した技術分野について、読者が自分で調査するときの最初の取っ掛かりになればうれしい。
追記(2024.6)
- Orbbec 社の Femto Bolt がToF方式のカメラであったので追記する。
- 広い視野角と狭い視野角とを両立したいという願いに対して、両方を載せてしまったTOF方式のカメラだ。
- コンパクトなToFカメラを調査中
- [Orbbec の３Dカメラについて調査中(https://qiita.com/nonbiri15/items/75c04f7b4adc494225be)
追記2024.09
Infineon
ToF（Time of Flight）センサー REAL3
Infineonの利用例 に以下のロボットがあった。
