AI-102試験対策のまとめ「Azure AI Video Indexerのショット/シーン/キーフレーム検出」

はじめに

Azure AI Engineer Associate(AI-102)取得に向けた勉強でまとめた内容を本記事では投稿しています。
試験範囲の内容を私が勉強していく中で、
・忘れてしまっていた内容
・他の知識と絡めて理解した方が良い内容
・Microsoft Learnの読解に苦戦した内容
などをできるだけ分かりやすく簡潔にまとめることを意識しています。
Azureの勉強を一から始め、AI-102取得を目指している方の参考になれば幸いです。
※本記事の内容が必ず試験に出るわけではないこと、ご注意ください
※勉強しながら投稿しているため、追加で学んだことがあれば随時投稿内容を更新します。

試験対策のまとめ

Azure AI Video Indexerのショット/シーン/キーフレーム検出

• Azure AI Video Indexerは下記に基づいて一時的な単位にビデオをセグメント化する
  • 構造プロパティ
  • セマンティックプロパティ
• この機能により、下記の検出が可能となる
  • ショット：同じ動画カメラから撮影された連続するフレーム
  • シーン：単一のイベントを表し、意味的に関連する連続したショットで構成
  • キーフレーム：各ショットを最適に表すフレーム

ショット検出

• 下記の両方を追跡することで、ビデオのショットがいつ変化するのかを決定
  • 隣接するフレームの配色における突然の遷移
  • 隣接するフレームの配色における段階的な遷移
• ショットのメタデータには下記が含まれる
  • 開始時間
  • 終了時間
  • そのショットに含まれるキーフレームIDのリスト

シーン検出

• 連続するショット間の色の一貫性に基づいてビデオをシーンにセグメント化
  ⇒各シーンの開始時刻と終了時刻を取得
• シーンのサムネイルは、その基になるショットの最初のキーフレーム

キーフレーム検出

• キーフレームは、審美的プロパティ(コントラストや安定性など)に基づいてビデオ全体から選択される
• ショットのメタデータの一部として、キーフレームIDのリストを取得
  ⇒このリストに基づき、キーフレームを高解像度画像として抽出可能
• キーフレームを抽出するには、下記のいずれかの方法でビデオをアップロードしてインデックスを作成する
  • Azure AI Video Indexer Webサイトを使用
    1. ビデオをアップロードしてインデックスを作成
    2. Artifacts(ZIP)をダウンロード
    3. ZIPファイルを解凍することで抽出されたキーフレームを確認可能
  • Azure AI Video Indexer APIを使用
    1. Upload Video呼び出しを使用してビデオをアップロードしインデックスを作成
    2. Get Video Indexerを呼び出し、キーフレームIDのリストを表示
    3. Get Thumbnails呼び出しでキーフレームIDをそれぞれ実行
    4. 各キーフレームのイメージがダウンロードされる

• 参考
  • https://learn.microsoft.com/ja-jp/azure/azure-video-indexer/scenes-shots-keyframes

次の試験対策のまとめ

• AI-102試験対策のまとめ「Azure AI Video Indexerにおける多言語識別」

学習内容をまとめたページの一覧