(元記事では、ステレオカメラの記事を増やしすぎたので、Jetson TK1を使っていない分のステレオカメラの分は別記事に書き直しました。 市販 Stereo Cameraについて調査中)
以下に書いている調査中の記事よりは、実際に利用している人の記事があるので、そちらをみた方が確かだ。
- furushchevさんの記事 Jetson TX1でZEDを使う
また、Jetson TX2, Jetson Nano も販売されているので、以下の記事はとても古いものになっています。
Jetsonはハイエンドの組み込み用のCPU 基板だ。
elinux.org/のページは、情報がまとまっており、linkが見やすい（もしかするとNVIDIAのwebよりも情報を見つけやすいかもしれない)。
最近の画像認識の流れとしては、組み込み分野でも画像認識技術の広がりを高めようとする流れがある。
マルチコアで性能を高めようとするアプローチもあるし、GPUで性能を高めようとするアプローチもある。
RaspberryPi Zeroの記事を調べていくと、
ドローンなどの機器で画像認識の利用が高まっていることを感じている。
ロボットの分野では、実空間を認識する必要があり、それらが共通の問題として存在している。
ステレオカメラはそのような問題に対するアプローチの１つである。
Stereolabs ZED Depth Camera on Nvidia Jetson TK1 - Quick Observations on Performance
https://www.youtube.com/watch?v=n8YsrmxJgBQ
Stereolabs / バーチャルリアリティ
ドローンで、Stereolabs の ZED ステレオカメラと Jetson TX1 スーパーコンピュータと組み合わせることで、最新のバーチャルリアリティ・アプリケーションにもたらす能力をご覧下さい。
http://www.nvidia.co.jp/object/embedded-systems-jp.html
Stereolabs Brings Advanced Computer Vision Capabilities to 3D Mapping
https://developer.nvidia.com/embedded-computing
Jetson TX1でZEDを使う
http://qiita.com/furushchev/items/ef6b0c1b471cef6228c0
ZEDを開封している動画
https://www.youtube.com/watch?v=tf5mgdF43Xc
これらの例を見ると、ドローンを使って建物の3Dの形状を測定するということが、一昔前よりも、容易に実現可能になってきていることがわかります。
ステレオカメラは、目的にそった構成のカメラがあれば、それを使うべきであって、自作することは勉強目的ですることと考えるべきでしょう。イメージセンサ・レンズの選択とイメージセンサ基板の固定方法、イメージセンサの同期の確保、イメージセンサでのゲインや色バランスの問題などがあるからです。
ロボットのプロトタイプでは、Kinectをそのまま使ってある例を見たことが多くあります。
capture 110° wide-angle video and depth
175 x 30 x 33 mm (6.89 x 1.18 x 1.3’’)
159 g (0.35 lb)
であるというZEDの視野角の広さや寸法など驚きを感じています。
計算の部分は、PCやJetsonにゆだねる設計になっています。
USB3をインタフェースとして使用しています。
これらの記事で紹介されているZEDは次の場所でより詳しく知ることができます。
StereoLabs ZED 2K Stereo Camera
https://www.stereolabs.com/
Stereolabs
https://github.com/stereolabs
ZEDという特定のステレオカメラを使うのではなく
自力でステレオを行いたい方には次のslideShareが役立つはずです。
Jetson TK1でSemi-Global Matching
Jetson/Cameras
http://elinux.org/Jetson/Cameras
いすれにしてもOpenCVは、組み込み分野でも画像認識技術を使うための必須のライブラリです。
JetsonでOpenCV
http://www.slideshare.net/tomoaki0705/jetsonopencv?qid=fb380186-b963-463b-8a51-52731d350225&v=&b=&from_search=5
NVIDIA Jetson TX1でOpenCV3をビルドする
http://qiita.com/furushchev/items/53df07a4796646b02eb9
NVIDIA Jetson OpenCV Tutorials
https://www.youtube.com/watch?v=gvmP0WRVUxI
NVIDIA Jetson Tutorials
https://developer.nvidia.com/embedded/learn/tutorials
ロボットの分野では、ROSが標準的な枠組みとなってきています。
NvidiaJetsonTK1
http://wiki.ros.org/NvidiaJetsonTK1
Jetson TK1がやってきた！〜ROS編〜
http://tyokotabb.blogspot.jp/2014/06/jetson-tk14.html
jetson_for_robot.pdf
https://github.com/daichi-yoshikawa/documents/blob/master/jetson_meetup/jetson_for_robot.pdf
Jetson TK1 +
PlayStation Camera
ROS package
http://pt.slideshare.net/ssuser4d25e1/20160126-jetson-ps4eye01
JETSON TK1のセットアップ(JETPACK, GRINCH, ROS JADEのインストール)
https://daichiahl.wordpress.com/2016/07/18/jetson-tk1%E3%81%AE%E3%82%BB%E3%83%83%E3%83%88%E3%82%A2%E3%83%83%E3%83%97/
2015年度GPGPU実践基礎工学 第14回 GPGPU組込開発環境
http://www.slideshare.net/ssuserf87701/2015gpgpu14?qid=fb380186-b963-463b-8a51-52731d350225&v=&b=&from_search=1
車載組み込み用ディープラーニング・エンジン NVIDIA DRIVE PX
http://www.slideshare.net/NVIDIAJapan/nvidia-drive-px-64192446?qid=f8521865-2f65-4a68-9772-8a2e9270bf13&v=&b=&from_search=8
NVIDIA、「Maker Faire Tokyo 2016」でディープラーニングをDIYで行なう方法を解説
「AIを使う電子機器が簡単に設計できる」とNVIDIA 矢戸氏
http://car.watch.impress.co.jp/docs/news/1014414.html
トヨタの自動運転研究も紹介された「NVIDIA Deep Learning Day 2016 Spring」
http://car.watch.impress.co.jp/docs/news/755996.html
QiitaでもJetsonで検索してみること
JETSON TX1が来てやったこと（１日目）
http://qiita.com/threecups/items/d0be58e133ca44f230c4
JETSON TX1が来てやったこと（２日目）
http://qiita.com/threecups/items/6207d8e9552b2a64b4fc
JETSON TX1が来てやったこと（３日目）
http://qiita.com/threecups/items/88f9b1afc6b98712ac0f
JETSON TX1が来てやったこと（４日目）
http://qiita.com/threecups/items/6905e1169f6753227a58
Hardware Acceleration of OpenCV
http://elinux.org/Jetson/Computer_Vision_Performance
Jetson TK1 の開発環境構築 Step by Step
https://yseosoft.wordpress.com/2016/01/11/jetpack_install_step/
##他の距離画像のカメラとの比較：
Kinect v1とKinect v2の仕様比較
http://www.buildinsider.net/small/kinectv2cpp/01
を見ると
Kinect v1 Kinect v2
水平（Horizontal） 57度 70度
にとどまり、capture 110° wide-angle video and depthというZEDの視野角の広がりは
着目に値します。
| Stereo Camera | Field of View | maker | 参考 URL | 参考 |
|---|---|---|---|---|
| ZED | 110 | ZED 2K Stereo Camera | : Jetson TK１との併用 | |
| kinect | 57 | Microsoft | Kinect v1とKinect v2の徹底比較 | |
| kinect2 | 70 | Microsoft | 同上 | |
| TB-7Z-TCDK-GC2 | 54.6 | Tokyo Electron Devices | 量産対応可能 インテリジェント３D TOFカメラ開発キット | time of flight 方式 |
| Stereo Vision IP Suite | 42 | Fujisoft | Stereo Vision Evaluation Kit | Altera® Cyclone® V SoC の評価ボード、FPGAを利用するシステム |
| RoboVision 2 | 45 | ZMP | 超高感度ステレオカメラモジュール RoboVision 2 | |
| Bumblebee | PointGrey | Bumblebee2 1394a | 外部トリガーとストロボ機能のための GPIO コネクターも搭載しています |
比較の詳細は他に記事にして別項目にしました。
市販 Stereo Cameraについて調査中
購入するには
Tegra X1搭載の開発キット「Jetson TX1」が3月中旬に国内販売を開始。開発キットの個人向け価格は約9万4000円前後
http://www.4gamer.net/games/286/G028684/20160301055/
Tegra X1搭載の開発キット「Jetson TX1」
法人向け販売 菱洋エレクトロ:
http://www.ryoyo.co.jp/product/solution/it/p73-07.html
個人向け販売 オリオスペック
http://www.oliospec.com/shopdetail/000000004126/
まず、Linuxボードとして使うためには(他の方が書かれた記事へのリンクを示します。threecups さん)
「電源投入まで」
「開発環境インストール」
「カメラモジュールについて」
きちんとGPUを使うためには
CMakeを実行する際に、以下のような設定をして、CUDAを使うようにビルドしておく。
-DWITH_CUDA=ON -DCUDA_ARCH_BIN="3.2" -DCUDA_ARCH_PTX=""
NVIDIA Jetson OpenCV Tutorials - Episode 0
NVIDIA Jetson TX1でOpenCV3をビルドする
NVIDIAの提供するライブラリと、それ以外のライブラリで類似の機能のものがあるので、どちらがよいのかは調査すること。
NVIDIA [IMAGING AND COMPUTER VISION] (http://www.nvidia.com/object/imaging_comp_vision.html)
OpenVX の枠組みで認識技術が実装されている。
OpenVXでは標準化したインタフェースで実装されることで、設計が再利用される形で、実装を乗り換える可能性がでてくる。GPUやOpenCLなどで最適化されたアルゴリズムは、簡単には別の実装に移行できない。その部分がOpenVXで変わってくる可能性がある。
NVIDIA VisionWorks
SlideShare【第33回コンピュータビジョン勉強会＠関東】OpenVX、 NVIDIA VisionWorks使ってみた
USBの帯域
USB Hi-Speed (USB2.0) 480 Mbit/s 60 MB/s
USB SuperSpeed (USB3.0) 5 Gbit/s 625 MB/s
USB SuperSpeed+ (USB3.1) 10 Gbit/s 1250 MB/s