アクアリング鶴舞ラボ、エンジニアのタイジマンです。

先日、スタッフの結婚披露宴のウェルカムボードにPepperを使用しました。
（どんなアプリケーションにしたかは、リンク先をご覧ください）

Pepperをカメラマンにして、写真をとる機能を実装したんですが、
どうせなら、リアルタイムでPepperのカメラの映像がみれたほうがいいよね
とタブレットに表示させたところ、すこし苦労したので、メモをしておきます。

画像をキャプチャする。

ALVideoDevice#getImageRemoteを使うと、その機能は、実装できますね。
setTimeoutを設定すれば、映像のように見せることができます。（すこし、ぎこちないですが）

色は、モノクロかカラーで表示できればいいのですが、１６種類もあるようですね。
http://doc.aldebaran.com/2-1/family/robots/video_robot.html#cameracolorspace-mt9m114
下記リンクに、パフォーマンスについて、記述されているので、どれくらい違いがでるのか計測してみました。
http://doc.aldebaran.com/2-1/naoqi/vision/alvideodevice.html#performances-and-limitations
ペッパーのカメラからYUV形式で取得されるそうなので、YUVとRGBで実験しました。各カラー設定で１００回づつ連続して取得しています。１００回なんて、と思いきや、結構パフォーマンスに響いているようです。

ColorSpace	Size	Min	Max	Avg
Monochrome(Y)	320x240	65	2255	313.03
YUV422	320x240	218	11314	975.45
YUV	320x240	294	3743	718.25
RGB	320x240	309	11409	1758.01

やっぱし、YUVなんですね。仕事の合間に作成したので、あまり時間もかけなかったため、とりあえずモノクロで実装しましたが、YUVの変換は、どこかで一回やっておきたいですね。

ちなみに、カメラIDを2にすると赤外線カメラの画像が取得できるようです。
カラースペースを17にすると、深度がとれます。すこし、何かに使えそうですね・・・。
パフォーマンス測定をすると、以下の結果。

Camera ID	ColorSpace	Size	Min	Max	Avg
2	Depth	320x240	195	7863	779.63

タブレットに表示する。

こちらですが、subscribe/unsubscribeをうまくやらないと、画像が急に表示されなくなります。
手元にあるPepperでは、登録時のIDが同じものが7件より多くsubscribeすると、そういう症状が発生しました。
ということで、気をつけてやりましょう。

タブレット表示部分だけ抜粋すると、以下になります。

Raise Eventで、カメラ表示開始と終了のイベントを発行して、タブレットのHTML側で、subscribe/unsubscribeしています。
この二つがしっかり動かないと画像が表示されないので、注意しましょう。
一応、タブレットを閉じた後に、ログ出力させています。

同一IDでsubscribeした場合、hoge_0,hoge_1となるので、unsubscribeは、ボックス内でやってもいいかもしれません。

本記事用のソースは以下に置いておきましたので、参考になれば・・・。
https://github.com/aquaring/PepperTabletDemo

追記：

まぁでもみんなPepper自体めずらしいし、Pepperに写真撮ってもらうより、
Pepperと写真とりたがりますね。