はじめに

こんにちは、@t-osdyと申します。
Livesense Advent Calendar 2016 その３ 14日目です。

先日のAWS re:inventで新サービスの発表がありました。
今回は業務とは関係ないですが、同僚の方が私の写真を取りながらデモ画面で遊んでいたのを機に、AWS RekognitionをRuby側からサービスを触ってみたのでやったことをまとめたいと思います。

AWS Rekognitionについて

AWS Recognition – 深層学習による画像検出と認識

詳しいことは色々な方面で説明されていると思うので割愛しますが、まとめてしまうと画像ファイルから人物やその表情の分析や比較、またシーンやどういった物体が含まれているかを検出するサービスです。

今回の内容

AWSドキュメントを参考にRubyで以下のことをやりました。

インプット画像のシーンや物体を分析(detect_labels)
インプット画像の内の顔の表情検出(detect_face)
２つの画像からの顔を比較する（compare_faces）

やってみた

まずはcredential情報を設定してAWSへのアクセス準備します。Rekognitionはまだ東京リージョンがないので注意してください。（私はus-east-1を設定しました。）

require 'aws-sdk'
require 'dotenv'
Dotenv.load

Aws.config.update({
  region: ENV['AWS_REGION'],
  credentials: Aws::Credentials.new(ENV['AWS_ACCESS_KEY_ID'],ENV['AWS_SECRET_ACCESS_KEY'])
})

rekognition = Aws::Rekognition::Client.new(region: Aws.config[:region], credentials: Aws.config[:credentials])

インプット画像のシーンや物体を分析

デモ画面でも試せるdetect_labelsを実行してみます。

response_detect_labels = rekognition.detect_labels(
  image: { bytes: File.read(ARGV.first) }
)

response_detect_labels.labels.each do |label|
  puts " #{label.name} #{label.confidence.to_i}"
end

サンプル画像

実行結果

 Animal 86
 Cat 86
 Mammal 86
 Manx 86
 Pet 86
 Hardwood 68
 Wood 68
 Chest 67
 Drawer 67
 Furniture 67
 Indoors 50
 Interior Design 50
 Room 50

猫、かわいいですね。猫だけでなくそれ以外の物体も認識してますね。すごい。
余談ですが、クロネコヤマトのダンボールに入った猫は猫を認識してくれませんでした。

インプット画像の内の顔検出(detect_face)

次にdetect_faceを使って画像内の顔を認識して、表情を分析します。

response_detect_faces = rekognition.detect_faces({
  image: { bytes: File.read(ARGV.first) },
  attributes: ['ALL']
})

response_detect_faces.face_details[0].emotions.each do |emotion|
  puts emotion.type + " " + emotion.confidence.to_i.to_s
end

サンプル画像

実行結果

HAPPY 99
CONFUSED 9
SAD 3

何が正しいのかはわからないですが、上の画像からCONFUSEDとSADが検出されている辺り精度が高く思えてきます。

２つの画像からの顔を比較する（compare_faces）

最後に２つの画像から顔を比較して類似度を表示します。

response_compare_faces = rekognition.compare_faces({
    source_image:{ bytes: File.read(ARGV[0]) },
    target_image:{ bytes: File.read(ARGV[1]) },
    similarity_threshold: 1.0
})

puts response_compare_faces.face_matches[:similarity]

サンプル画像

sorce	target

実行結果

#<struct Aws::Rekognition::Types::CompareFacesMatch 
  similarity=0.0, 
  face=
#<struct Aws::Rekognition::Types::ComparedFace bounding_box=
#<struct Aws::Rekognition::Types::BoundingBox 
  width=0.1088888868689537, 
  height=0.18386492133140564, 
  left=0.596666693687439, 
  top=0.23076923191547394>, 
  confidence=99.9999771118164>>

ありゃ、本当か？まさかの類似度０…同じモデルさんですが帽子、角度等があると精度が落ちまだ難しいのでしょうか？（そもそもサンプルが悪かった気がする…）
※念の為、同一モデルの正面を向いた写真で何枚か試してみたところでは類似度８0％くらいでした。）

まとめ

今回は公式ドキュメントをもとにAWS Rekoginitonを触ってみました。
触りながら分析の部分とかはブラックボックスで処理結果も？？？となった面もありましたが、こういったディープラーニングによる画像認識が手軽に利用できる様になり気持ちが躍ります。

また、AWS RekognitionではCollectionと言われるAWS上のクラスタ（？）に画像ファイルから顔情報を格納(index_faces)して、その情報郡に対して類似画像検索(search_faces_by_image)と言った使い方もできるようでサービスのアイデアが出てきたので別途試してみたいと思います。

AWS Rekognitionを触ってみた（Ruby編）

はじめに

AWS Rekognitionについて

今回の内容

やってみた

インプット画像のシーンや物体を分析

インプット画像の内の顔検出(detect_face)

２つの画像からの顔を比較する（compare_faces）

まとめ