画像認識に関心があったり、機械学習に関心があったりする人は、3次元計測にも関心がある方が多いのではないでしょうか。さらには、何かを制御するということも関連の知識として役立つのではないでしょうか。
そこで、周辺分野の技術を学ぶ目的で、ROSについて調べつつあります。ROS(Robot Operating System)は、その名のとおり、Robotを実現するのに有用な環境です。しかし、この中で述べるように、ロボットを作らなくても、ROSで用いられているライブラリは、画像認識や3次元計測などの分野に役立つものです。
ROSについて調べながら感じたことは、ロボットや制御の分野でもオープンソースによる標準化が進展しつつあるということです。画像関係がライブラリを全て自社内（あるいは属する組織内）でまかなっていた時代から、OpenCVのデータ構造とライブラリの時代になったような変化が起きているように思えます。BMPファイルを読み書きするライブラリを自作していた時代には、できることが一定以上の水準を超えることはできませんでした。共有されないソースコードやデータ構造は、死に絶えてしまって、なかったと同じものになってしまいました。制御するプログラムも、自分の属する組織の中での流儀をしていると、いずれはなかったと同じライブラリになってしまうと思います。
とりわけ、データ形式は重要な資産です。（私も含めて）C言語で数値計算のライブラリを書籍を参考にしながら作っていた時代には、それらのライブラリで行列を扱う流儀が一定していませんでした。配列の大きさを事前にマクロ定数で宣言しているコードが多く見られました。C言語では複素数の標準化が遅れたこともあって、線形代数が標準化されない弱みも持っていました。今の時代においては、そのようなコードは品質が保証されないコードであって、しかもマルチコアやGPUの恩恵も受けることのできないコードになってしまいました。
データ形式は重要な資産です。その有益なデータ形式にあわせてライブラリが蓄積してきます。ライブラリがそろってくると互換インタフェースを持つライブラリや、それらのライブラリを活用する高次の機能がそろってくるようになります。
Pythonではnumpyがそのようなデータ形式です。scipyやcv2やscikit-learnなど多数のライブラリがそのデータ形式の上に育っています。標準的なデータ形式となっているからこそCythonのような言語も作られ、numpyをC/C++から効率的に利用する枠組みが提供されたり、C/C++を用いて効率的な実装をするようになっています。これらは全て有益なデータ形式が標準化されている恩恵によるものです。
こういった変化が、ROSによって生じているように思えるのです。ROSによって制御の仕組みが標準化されたことと、機械学習の枠組みとが同じ土俵の上にのってきたことで、1人の人間が、制御も機械学習も両方のコードを書くことができて、それによって今までだったら実行が困難だったアイディアを実現できるようになるのです。
ROSの導入は、個々の機器の固有の話と、ロボットの操作という共通の枠組みで考える制御の問題とを明確に意識するようにしていくことと思えます。あなたの抱える開発がROSの枠組みの中で自然に実現できるものなのかどうか、ROSの例題を調べてみてください。
ROSでは、C++, Pythonの両方とも使える。
2016 年の画像センシングシンポジウムでもチュートリアルセッションで紹介されています。
SSII2016チュートリアル : ROSによるロボットソフトウェアの開発
SlideShare [ROSによるロボットソフトウェアの開発]（http://www.slideshare.net/yyamauchi/ros-62750941）
tf: 座標変換、フレーム作成
pcl：ポイントクラウドライブラリ
OpenCV:画像認識ライブラリ
usb_cam:USBカメラとの接続
などのライブラリが充実しています。
自律ロボット開発にROSを使うべきいくつかの理由
http://myenigma.hatenablog.com/entry/20130208/1360324464
世界で一番簡単なtfの使い方
座標変換パッケージ "tf"のお勉強
tf,tf2完全理解
Raspberry Pi + ROSでUSB Cameraを使う
【シリーズ「PCLを触ってみよう!」第一回】3D点群処理ライブラリ「Point Cloud Library」の概要
【PCL入門】 Point Cloud Library について
ROSのインストール
ROS Indigo の Ubuntu へのインストール
1.ROSのインストール
ROS Indigoのインストール
ROS (Robot Operating System) のインストール
RaspberryPi2のjessieにROSのindigoをインストールする最新版
ROSをJetsonにインストールする方法の説明
Raspberry Pi 2にROS(Robot Operating System)をインストールしてみる
Raspberry Pi 3 にROSをインストール
Zynqを利用したボードにROSをインストールする
Xillybus and ROS on Ubuntu14.04 on Zybo Part 4 : Zybo上における設定~ROSのインストール
ROSは、ロボットの制御の分野の標準的な枠組みとして普及するのではないかと私は思っています。そのときに組み込み系のCPUでどれだけROSが快適に動作するのかがポイントです。制御の分野では各種IOが重要になります。その各種IOに対する設計の自由度の高いのがFPGAです。GPUは並列計算を速くすることはできますが、各種IOに対する自由度は高めてくれません。マルチコアのCPUとFPGAが組み合わさって自由度の高い、しかも低消費電力のシステムが作れるの可能性があります。
BeagleBone Black
BeagleBone Black (BBB)
BeagleBone Blackにubuntuをインストールする
Armadilloボード(Atmark Techno)でのROSのインストールについて調査しよう。
The Armadillo Goes Mapping(これは Armadilloという名のロボット)
http://www.showusyoursensors.com/2010/11/armadillo-goes-mapping.html
Robots Using ROS
http://www.ros.org/news/robots/mobile-robots/
ROSの開発に関係しているWillow Garageの以下の記事が興味深い。
ロボットの“PARC”「Willow Garage」が撒いた種 (1/4)
「ROSではじめるロボットプログラミング―フリーのロボット用「フレームワーク」 (I・O BOOKS)」
付記：
じゃあ、ライブラリが標準化されていったとき、「お前のする仕事はあるのか？」という問いかけはあるでしょう。ある種のライブラリは、適切に使うことが簡単ではありません。その分野の開発経験や利用経験は、ライブラリが標準化されても役に立つものです。ライブラリが会社の独自形式のライブラリのである場合には、部署を変わったときには、その個人の経験が活用しきれないことになりがちです。ライブラリが標準化されてきたときには、個人の経験が異なる部署ですぐに活用ができることになります。
適切にライブラリを使う事が、誰にでも容易とはかぎらないことは、3次元計測を、自分でしてみるなり、誰かにさせてみれば、分かります。実際の対象物の状況や照明やカメラの状況によって3次元計測の結果は容易に、誤差の大きすぎる状況となってしまいます。
ROSを使うシステムは、実空間の様々な要因が影響すると思われます。ですから、それらを適切に使うことは、それなりの勘所(ノウハウ）が必要になり続けるでしょう。
ライブラリが標準化されていったとき、「お前のする仕事はあるのか？」という問いかけに「ある」と私は思います。もし、ライブラリが標準化されてしまったことで、仕事がなくなってしまうようなものならば、各種のライブラリを（ソースコードも含めて）公開している企業は、自分の仕事がなくなってしまうことを意味します。しかし、実際には、コードを公開しつつ、それらのコードを効果的に使う実例を開発していくことで、利益を得ています。
初期の開発者が試行錯誤した後に、アルゴリズムやライブラリが進んだオープンソースを使う人は、自分自身による理解をどこまで深めるかによって、初期の開発者が達成した以上の成果を挙げることが出来るはずです。ですから、Asimo相当のロボットを開発する場合、Asimoの開発に要した労力に比べてはるかに短い時間で開発できるはずです。その場合の一番のポイントは、アルゴリズムやライブラリについて、開発者がどれだけ理解しているかということではないかと思っています。1人の技術者が理解できる内容も、このように整理された結果を受け取って、それらのノウハウを理解ていくことで、いいものが作れる時代になっているのです。
Youtube で Robot Operating Systemを検索する
画像認識を利用したドローンのコーディング方法の記事はROSを使用していた。
ROSの開発に関係しているWillow Garageの以下の記事が興味深い。
ロボットの“PARC”「Willow Garage」が撒いた種 (1/4)
Robots Using ROS
http://www.ros.org/news/robots/mobile-robots/
ROS勉強記#9 ステレオカメラとキャリブレーション
(https://www.e-consystems.com/jp/3D-USB-stereo-camera-jp.asp)
[3D ビジョンおよびロボットビジョン用途向けのステレオカメラ!]
(https://jp.ids-imaging.com/ensenso-stereo-3d-camera.html)
安曇野の森から > ROS(Robot Operating System)を使う
以下のように勉強会などがあります。