はじめに
Amazon Rekognition Videoとは、AWSの提供する機械学習を利用したビデオ分析サービスです。
Rekognition Videoを利用することで、動画中の数千のオブジェクトや顔、コンテンツを正確に検知し、追跡し、認識し、抽出し、節度を検出することができます。
※こちらの記事にて、デモの利用手順をご確認いただけます。
https://qiita.com/JJ33/items/848aaac7bc68a15c56af
3つの主な機能
チーム:動画に登場する人物を識別、追跡
有名人:登場人物が有名人か判定
オブジェクトとアクティビティ:動画内にある人、モノ、シチュエーションまでを解析
検出できるメタ情報
- 物体（車両やペットなど）
- シーン（都市やビーチ、結婚式など）
- アクティビティ（小包の配達やダンスなど）
- 有名人（有名人の名前と一意のID）
- テキスト（英語テキストのみ）
- 動作（ろうそくを吹く、火を消すなど）
- 不適切なコンテンツ（ヌード、暴力、武器など）
各検索結果や検出にはタイムスタンプが付いているため、詳細なビデオ検索向けのインデックスをすぐに作成できるほか、さらなる分析のために興味のある箇所にすばやく移動することもできます。
また、対象がフレーム内のどの位置で検出されたのかを境界ボックスの座標で教えてくれます。
デモを試した結果
https://www.youtube.com/watch?v=L91yri_Vmbs
こちらの動画を借りてデモを使ってみました。
結果を一部掲載します。
（今回CelebritiesやModeration Labelsは検出されなかったためLabelsとPersonsのみ）
ケース１ ジェット機の前で写真を撮るシーン
■Labels（Confidence 80以上のみ表示）
ジーンズやヘリコプターも認識できているようです！
■Persons
４人の人物を検知しています。
ケース２ 女の子がドーナツを持っているシーン
■Labels
こちらのシーンではホットドッグを検出しています。
正確にはドーナツなのですが、食べ物の種類まで認識しているのはすごいですよね！
■Persons
先程のシーンと同じ女の子だとわかっているようです！
ケース３ ソファーで写真を撮るシーン
■Labels
室内で、シェルフなどの家具があることを認識しています。
■Persons
シーン１と同じ人物が２人いるとわかっているようです。
ケース４ 家に荷物を運ぶシーン
■Labels
宅配をしているシーンであることも認識しています！これはすごい！
何に活用できそうか考えてみた
- 不適切なシーンのカット、または警告表示
- 検索機能を充実させる（タグ付けや顔検索）
- 顔認証受付（施設の混雑防止や万引き防止につながる）
- 人物トラッキングで犯人を捕まえる、行方不明者を捜す
- 動画を投稿前に節度を検出し、不適切なシーンの公開を防ぐ
- 検出できたメタデータを自動で組み合わせてハイライト動画の作成
- 撮った動画を、カテゴリーや人物別で勝手にフォルダに分けるアプリ
- SNS等で動画メディアを投稿する際、顔検索によって友達を自動でタグ付け
- 小売業の分析（買い物客の行動、平均年齢層、性別分布、人々が表す感情を分析）
- コンテンツ流動型広告（見ているコンテンツに見合う広告を選ぶ、良いタイミングで挟むなど）
さいごに
デモを試した結果、十分な精度で色々なメタ情報が得られました。（他の動画では自撮りをしているシーンやラーメンを作っているシーンも認識しました！）
アイデア次第で、顔認証受付やハイライト動画の作成など、様々な用途で活躍できそうだと思いました。今後の展開も楽しみですね。
参考リンク
使用した動画リンク