cocoroboペット化計画～Azureシステム事例～ #Android

こんにちは。まーやです。

先日Java女子部でSHARP製のcocoroboという喋るお掃除ロボットを使ったココロボミニハッカソンのイベントをやりました。
色々あって結局まだ完成はしていません。。。ハッカソンイベント自体はすでに終了していますが、引き続き10月末まではcocoroboちゃんをSHARP様からレンタルしているので、細々と開発を進めています。個人的に初めて使う技術も多く楽しいシステム設計になったのでここに記しておきたいと思います。

Agenda

システム概要
使った技術
開発感想
まとめ

システム概要

今回使った技術の概要はこちら。システムを動かす基盤と分析系処理をAzureで、今回やりたかったこと(後述)に対してcocoroboに不足していた処理の実装にRasberryPiやAndroidを使用しました。すべてのデバイス同士をつなぎ合わせるのにJava(Spring Boot)を使用しました。詳細については後述していきたいと思います。

Microsoft Azure
RasberryPi
Android
Java8

実際に開発中のリポジトリはこちらです。まだmasterリポジトリにほとんどマージされていないのですが。。。

今回作成にチャレンジした機能は名付けて「cocoroboペット」。掃除そっちのけでご主人様を追い掛け回すという本来の「お掃除ロボット」という役目を全く果たさないシステムの実装です。

cocoroboのペットモードを実現するためには大きく分けて次の3つの機能が必要でした。

ご主人様データ登録機能
cocorobo動作機能(追いかけ回し機能)
目玉表示機能 ※cocoroboを可愛くするためのおまけ機能

1. ご主人様データ登録機能

この機能はご主人様は誰か？という情報を初期データとして登録する機能です。
処理の流れは次の通り。

ご主人様となるユーザの顔写真をAndroidアプリで撮影
Azure Cognitive Services の FaceAPIs の中のDetectAPIというAPIを使って顔写真をAzure Cognitive Servicesに登録
DetectAPIで返却されるFaceIDをAzure Redis Cacheに保持

2. cocorobo動作機能(追い掛け回し機能)

RaspberryPiからWEBカメラを操作して写真を定期的に撮影します(※2)。撮影写真に写っている人間と初期登録したご主人様データを比較し、ご主人様のいる方向へcocoroboを走らせる機能です。ここがメインの機能になりますね。

RaspberryPiでWebカメラを操作し、X秒おきに写真撮影をする
撮影した写真をDetectAPIでAzure Cognitive Servicesに登録
撮影した写真のfaceIDをAzure Redis Cacheに保管
ご主人様初期登録写真のfaceIDと撮影した写真のfaceIDをFaceAPIsのVerify APIに送付し、同一人物判定を行う
撮影写真に写っている人がご主人だった場合、写っている人の位置を写真上で特定し、cocoroboの進行方向を決定する
cocorobo動作APIを使ってご主人様の方向へcocoroboを動かす

3. 目玉表示機能

cocoroboを可愛くするためのおまけ機能。根幹となる処理ではないんですが、よりcocoroboを生き物っぽく仕上げるための工夫。cocoroboから取得できるデータの中にcocoroboの感情というのがあるので、この感情バロメータに合わせてcocoroboの表情(目だけ)が変化するという機能。cocoroboの上に乗せたAndroidに目玉を表示します。

X秒おきに目玉表示をするAndroid端末からAPIを呼び出す
cocoroboデータ取得APIから感情数値を取得
感情に合わせて表示する目玉画像を変更

使った技術

Azure CognitiveAPIs ～FaceAPI~

Azure CognitiveAPIsは機械学習の難しいところをAPIで提供してくれるサービス群。今回はこのなかのfaceAPIの機能を使いました。
faceAPIだけでも

顔検証(同一人物判定)
似た顔の検索
顔のグループ化
顔識別

と機能豊富です。本当は教師データをたくさん登録して顔のグループを作って、顔検証の精度を上げていく・・・という使い方をしたかったのですが、当然時間が足りるわけもなく、今回は教師データ1枚と比較データ(Webカメラで撮影した写真)を1対1で検証していく形としました。

顔の比較をするためにはfaceAPIの中のDetectAPIとVerifyAPIを使用します。DetectAPIで画像(写真)をAzure CognitiveAPIsに登録し、VerifyAPIで登録された写真同士を比較し、写っている人の類似度判定を返却します。

APIリファレンスがかなり親切で見やすかったのと、テスト実行できるページがあったのは本当に助かりました。

VerifyAPIでの類似判定はconfidence >= 0.5 でtrue判定されるようです(※3)。何回も同じ写真を登録するとVerifyAPIの判定精度が上がるようでしたので、同じ写真を2度登録しないように気を付ける必要がありました。なんて言ったって今回は1対1の比較なので、あまり判定精度が上がってしまうとご主人様判定されずにcocoroboが全く歩かない子になってしまいます。

Azure WebApps

最近私がお気に入りで使っているWEB用サーバのPaaSです。こちらの記事とか以前Java女子部で発表した資料があるのでよろしければ見てみてください。

今回はAndroid/RaspberryPi/cocorobo/Azure Cognitive Servicesとばらばらとしたデバイス同士をつなぐAPIをどどーんとAzure WebAppsにのっけました。

Asure WebAppsはTomcatがすでに用意されているので、今回はSpring Bootをwarで固めて配置しました。war化するときにSpring Boot内の組み込みTomcatを梱包しないようにしておくとよいです。
実際に使ったGradleファイルはこちらです。
Web.configというファイルを書けば、jarのまま公開が可能なのですが(※4)、今回は特にjarにこだわる理由がなかったのでwarを選択しました。

Azure Redis Cache

SaaS版Redisです。Azure Redis Cacheについては以前投稿した記事がございますのでよろしければご覧ください。

最初はRedisを使う予定はなかったのですが、作業しているうちにDetectAPIから返却された写真解析情報や、画像サイズ情報などを複数APIから参照する必要が出てきたため、途中から利用する方向になりました。基本的には初期登録時に設定してもらうご主人様の名前をkeyにDetectAPIから返却されたデータをJSON型のままvalueに登録する形で利用しています。

CI環境をろくに立てずに開発していたため、認証keyを記載したままGitHubにプッシュしてしまう人が続出したんですが、ポータルからボタン1つで認証keyの再発行ができたのは本当にありがたかったです(ちゃんとCI環境整えようという教訓になりました...)。

RaspberryPi

超小型PC。センサーを色々つけてIoTなどに使用されます。今回は市販のUSBでさすタイプのWEBカメラをRaspberryPiのUSBポートにさして、撮影制御を担当してもらいました。実際の制御システムはこれまたSpring Bootで作成しました。

開発感想

ココロボAPIがうまく動かないとか、メンバー同士の技術レベル差、コミュニケーションエラーなどなど開発あるあるはたった2週間2回だけのハッカソンでもやっぱり発生し、苦労しました。
全員がJavaエンジニアなゆえ、インフラ知識がちょっとばかし弱かったのですが、Azureを利用して(AWSも検討していたのですがCognitive Servecesを使うので全面Azureにしました)あまりインフラ構築に時間をかけずに結合テストに入れたのは良かったなぁと感じています。実際に開発するとなるとかなり時間を割かれる画像比較なんかもAPIでしゅしゅっとやれちゃいましたしね。

まとめ

PaaS/SaaSサービスを使うことで効率よく開発できる。
アプリ開発のハッカソンだったのでサーバやミドルウェアの準備＆インストールに時間をとられることなく開発できてよかった
Azure Cognitive ServecesのFaceAPIは簡単に比較結果が出るので、ちょっと分析やってみたい方におすすめ！

というわけで以上です。結合試験中にタイムアップになってしまったので、引き続きがんばるぞー

※1：本当はAzure storageなどのデータ保管サービスを使いたかったが時間の都合上断念。
※2：cocoroboにカメラが内蔵されているのですが、内蔵カメラをHack出来なかったためRaspberryPi＋Webカメラで代用。
※3：実際にいじってみた結果による推測です。最初に比較させた時はconfidence=0.52でtrue判定だった2枚の画像が、同じ写真の登録->比較を繰り返した結果、現在はconfidence=0.47となり類似判定はfalseになっています。
※4：https://azure.microsoft.com/ja-jp/documentation/articles/web-sites-java-custom-upload/#-2