LoginSignup
1
1

More than 3 years have passed since last update.

Visionで顕著性分析。人の視線を集めるのはどこか。

Last updated at Posted at 2020-11-01

人は画像のどこをみているか。

Visionで、画像の中で人の視線を集めやすい部分を分析できます。
いろんな画像で分析してみました。

 (1)人 / (2)目立つ物体  / (3)人が見る確率が高いところ
pexels-truth-enock-4063607.jpgRects Mask Attention Objectneのコピー.pngIMG_1553のコピー.png
白い部分が顕著性マスクで、四角がその境界ボックス表現です。
画像はアップルの公式サンプルです。簡単に試せます。

1,人の視線を集める可能性の高い部分を分析する。

let attentionRequest = VNGenerateAttentionBasedSaliencyImageRequest()

2,目立つ物体を分析する。

let objectRequest = VNGenerateObjectnessBasedSaliencyImageRequest()

実行

let requestHandler = VNImageRequestHandler(cvPixelBuffer: pixelBuffer, options: [:])
try? requestHandler.perform([attentionRequest])

結果処理

let observation = request.results?.first as? VNSaliencyImageObservation
let pixelBuffer = observation.pixelBuffer // 結果マスク画像のピクセルバッファー (68*68)
let salientObjects = observation.salientObjects // 目立つオブジェクトのRectangleObservation
for object in salientObjects {
    let boundingBox = object.boundingBox // 個々のオブジェクトの境界ボックス 
}

試してみた

 (1)かぼちゃ / (2)目立つ物体  / (3)人が見る確率が高いところ
pexels-karolina-grabowska-5422694.jpgRects Mask Attention Objectne1のコピー.pngIMG_1555のコピー.png
 (1)ろうそく / (2)目立つ物体  / (3)人が見る確率が高いところ
pexels-nick-bondarev-5017023.jpgIMG_1556のコピー.pngIMG_1557のコピー.png
 (1)わんちゃん / (2)目立つ物体  / (3)人が見る確率が高いところ
pexels-samson-katt-5257637.jpgIMG_1558のコピー.pngRects Mask Attention Objectnessのコピー.png

🐣


お仕事のご相談こちらまで
rockyshikoku@gmail.com

Core MLを使ったアプリを作っています。
機械学習関連の情報を発信しています。

Twitter
Medium

1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1