Intel RealSense 3Dカメラ(F200)を手に入れたので、プログラムしていきたいと思います。
Intel RealSenseについて
まずは、Intel RealSenseについて
↑ここを見てもらえれば分かりますが、PCの前面に付ける想定のF200とタブレットの背面カメラとしてつける想定のR200があるようです。
3つのレンズを搭載しておりそれぞれRGBカメラ、赤外線カメラ、赤外線レーザー・プロジェクターの機能を果たし、正面にある対象物から反射される赤外線を検出して深度を推測し、指や顔などをトラッキングしています。
今回手に入れたF200は、Color、Depth、Irのフレームを取得できるのはもちろんですが
顔の特徴点(78点)・傾きなどの情報取得、手・指の検出(片手22点)などが可能で、顔の3Dデータを生成したり
ジェスチャーなどで画面UIの制御ができるといった感じです。
F200はPCの前面に取り付けることを想定しているカメラで、対象範囲は0.2 – 1.2メートルです。
Kinectと比べると短めなのは、Kinectは体全体を対象とするのに対しこのカメラはPCの前で
手や指のジェスチャーで何かの操作をするということを目的としているからだと思います。
サンプルを動かしたところKinectに比べると手・指・顔の検出などは精度が細かくて高い感じです。
LEAPに比べると指の検出をロストすることが若干多いように思いますが作成するプログラムでカバーできる
範囲かと思います。LEAPは下に置いて操作するのに対し、F200は前面から取るため画面に対するアクションは
取りやすいのではないかと思います。
R200というモデルもありこれはタブレットの背面に取り付けることを想定しているカメラで
対象範囲は3、4メートルとなっています。
背面カメラを映した映像をタブレットで見てARするとか3Dスキャンするとかに使用するようです。
↓ここからPCやタブレットに搭載されていないDeveloperKitとしてカメラの購入が可能です。
Intel® RealSense™ Developer Kit
(2015.7.21時点でR200は「Out of stock」で購入できない状態でしたのでまた機会に購入したいです)
ハードウェア環境
PC： CPU:Intel Core i7 2.7GHz, RAM:16GB, USB3.0
カメラ：Intel® RealSense™ 3D Camera (Front F200)
※第四世代以降のIntel® Core™ processorでないと動かないようです。
※USBは3.0でないと動かないようです。
ソフトウェア環境
OS：Windows 8.1 64ビット
開発環境：Visual Studio Professional 2013 Update 4
WPF C#
SDK：Intel® RealSense™ SDK 2014
※Windows8.1 64ビットでないと動かないようです。
※今回は扱いやすさからWPF C#を使いますが、C++、JavaScript、Java、Processingでも開発可能です。
(後々やってみますがUnityとの連動も簡単にできるようです)
SDKの導入
↓ここの「Intel® RealSense™ SDK for Windows FreeDownload >」のリンクからSDKをダウンロードしてインストールします。
(ダウンロードにはユーザー登録が必要です)
Intel® RealSense™ SDK
もうひとつ、↓ここから「F200 Intel RealSense Depth Camera Manager」をダウンロードしてインストールします。
Intel® RealSense™ SDK
(これがないと深度画像が取得できないようです)
そのほかに必要であれば以下もインストールします
・Includes redistributable components and additional speech language packages
・Javascript Enabling Package for Intel RealSense SDK
・Unity Toolkit
ちなみに、このSDKは一般のWebカメラの制御もできるので3DカメラがなくてもRGB画像ならば取得可能です。
3Dカメラを注文して届くまでにSDKで普通のカメラを使ってサンプル作成などできる感じです。
(もちろん深度画像などは取れませんが)
開発情報について
私は、主に以下から情報を得てプログラムを進めていっています。
・SDKインストール時に入る「Developer Guide」
全部英語ですが、SDKの一通りの全体内容を把握できます。これを一通り理解しておかないと話にならないので
カメラが届くまでに読んで理解しておきました。
開発中もこれでクラスの詳細を調べるのことになると思うので、長い付き合いとなりそうです。
・Tutorials
↑このあたりにあるPDFは一通り目を通すと開発についてがわかります。
・SDKインストール時に入るサンプルのソースコード
「Intel RealSense SDK Sample Browser」からサンプルが動かせてソースも見れます。
これからこのカメラを使って色々やってみたいと思います。