More than 5 years have passed since last update.

Raspberry Pi のカメラモジュールとindicoで感情認識する

Last updated at 2016-11-20Posted at 2016-11-20

先日RasPiで顔識別をしてみましたが（Raspberry Pi のカメラモジュールとFACE++で顔識別する - Qiita）引き続き、写真の感情認識を試してみます。

機械学習サービスindicoのAPIを利用します。

環境

Raspberry Pi3 (RASPBIAN JESSIE WITH PIXEL 4.4　/ node.js v6.8.1)
Raspberry Pi カメラモジュール Raspberry Pi Camera Board
Raspberry Pi カメラモジュール専用　Blackケース
パルプ・フィクション/ サミュエル・L・ジャクソンジュールス・ウィンフィールド 13インチトーキングフィギュア
パルプ・フィクション/ ジョン・トラボルタビンセント・ベガ 13インチトーキングフィギュア

indico

アメリカ製の機械学習サービスです。こちらに詳しく解説されています。

3行のソースコードを入れるだけで機械学習できると噂のindicoをNode.jsで使って機械学習入門してみる - Qiita

10,000リクエスト/月まで無料で利用することが出来ます。

今回は「Facial Emotion Recognition（顔感情認識）」のメソッドを利用します。fsから画像ファイルを読み込むサンプルはこの様にあります。

sample.js

var indico = require('indico.io');
var fs = require('fs');

indico.apiKey = "YOUR_API_KEY";

var filename = "PATH_TO_YOUR_IMAGE";

fs.readFile(filename, function(err, data) {
  base64data = new Buffer(data).toString('base64');
  indico.fer(base64data)
  .then(function(res) {
    console.log(res);
  }).catch(function(err) {
    console.warn(err);
  });
});

レスポンスのjsonはこの様に返ります。

{
    'happy': 0.00004324968926091062,
    'sad': 0.007702528578033991,
    'angry': 0.0002575132225946431,
    'fear': 0.2071775132225946431,
    'surprise': 0.008160047807935744,
    'neutral': 0.00015069427192724994
}

jsonデータの抽出

感情認識で一番数値の高いものをクライアントサイドに送信させてみます。

app.js

var indico = require('indico.io');

var response = function(res) {
            console.log(res);
            var emotion =[res.Angry, res.Sad, res.Neutral, res.Surprise, res.Fear, res.Happy];
            var max_emotion = Math.max.apply(null, emotion);
            if(max_emotion === res.Angry){
              console.log('angry : '+ res.Angry);
              io.sockets.emit('msg2', 'angry : '+ res.Angry);
            }else if(max_emotion === res.Sad){
              console.log('sad : '+ res.Sad);
              io.sockets.emit('msg2', 'sad : '+ res.Sad);
            }else if(max_emotion === res.Neutral){
              console.log('neutral : '+ res.Neutral);
              io.sockets.emit('msg2', 'neutral : '+ res.Neutral);
            }else if(max_emotion === res.Surprise){
              console.log('surprise : '+ res.Surprise);
              io.sockets.emit('msg2', 'surprise : '+ res.Surprise);
            }else if(max_emotion === res.Fear){
              console.log('fear : ' + res.Fear);
              io.sockets.emit('msg2', 'fear : '+ res.Fear);
            }else if(max_emotion === res.Happy){
              console.log('happy : '+ res.Happy);
              io.sockets.emit('msg2', 'happy : '+ res.Happy);
            }
          }
          var logError = function(err) { console.log(err); }

          var filename = "./public/images/face_2.jpg";

          fs.readFile(filename, function(err, data) {
            base64data = new Buffer(data).toString('base64');
            indico.fer(base64data)
            .then(response)
            .catch(logError);
          });