Github(video-summarization-resources)にまとめていらっしゃる方がいるためそれを調べてみたものです。
データセット
MED Summaries
URL: http://lear.inrialpes.fr/people/potapov/med_summaries
Reference Paper: Category-specific video summarization D.Potapov, M.Douze, Z.Harchaoui, C.Schmid, ECCV 2014 | hal.inria.fr/hal-01022967/
概要:
- 動的な動画要約評価のためのデータセット
- 60個のバリデーション動画と100個のテスト動画の計160個のデータ
- テストには10種類のカテゴリーがある
- 12名のアノテーターにより作成された1～5分の要約動画がある
TVSum Dataset
URL: https://github.com/yalesong/tvsum
Reference Paper: TVSum: Summarizing web videos using titles | https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Song_TVSum_Summarizing_Web_2015_CVPR_paper.pdf
概要:
- 50のビデオに付与されたショットレベルの重要度スコア
- 20名のアノテータにより作成された
- 2秒ごとに動画を分割し、それぞれに重要度を付与している
- ある期間の動画の重要度はその期間に付与されている重要度の平均とみなすことができる
UT Egocentric (UT Ego) Dataset
URL: http://vision.cs.utexas.edu/projects/egocentric_data/UT_Egocentric_Dataset.html
Reference Paper:
- Discovering Important People and Objects for Egocentric Video Summarization| http://vision.cs.utexas.edu/projects/egocentric/
- Story-Driven Summarization for Egocentric Video.| vision.cs.utexas.edu/projects/egocentric/storydriven.html
概要:
- 4つの3～5時間のビデオ
- ヘッドマウントカメラで撮影された
- 重要度スコアが0.5以上の場合は「重要な箇所」とみなす
YoutTube Dataset(VSUMM: Video SUMMarization)
URL: https://sites.google.com/site/vsummsite/download
概要:
- 50の動画に対して50のユーザーによる要約動画の計250動画
- +投稿者による要約
-
- 論文（Furini, M., Geraci, F., Montangero, M., Pellegrini, M. 2010 STIMO: STIll and MOving video storyboard for the web scenario. In: Multimedia Tools and Applications, vol. 46, no. 1, pp. 47-69.）の50個の要約動画
SumMe Dataset
URL: https://gyglim.github.io/me/vsum/index.html
概要:
- 25本のビデオで構成され、各ビデオには少なくとも15人の動画要約が付属している
- 評価用のPythonプログラムも付属している
追記：Git Repositories and papers
同じサイト内で紹介されていたので触れておく
- Query-adaptive Video Summarization via Quality-aware Relevance Estimation, CVVPR 2017
URL: https://github.com/arunbalajeev/query-video-summary helpful: https://github.com/gyglim/gm_submodular
Reference: Video Summarization by Learning Submodular Mixtures of Objectives, CVVPR 2015 - Unsupervised Video Summarization with Adversarial LSTM Networks
URL: https://github.com/j-min/Adversarial_Video_Summary - Automated (YouTube) Video Summarization Using Captions
URL: https://github.com/rkindi/vidDistill - PyTorch implementation of Video Summarization on Twitch (LOL) dataset| Video Highlight Prediction Using Audience Chat Reactions
URL: https://github.com/chengyangfu/Pytorch-Twitch-LOL
dataset: https://drive.google.com/drive/folders/0By9LEMeCDdboVDlHTDlqQUNHMnc?usp=sharing - Experimenting with different Summarizing techniques on SumMe Dataset
URL: https://github.com/shruti-jadon/Video-Summarization - SnapStitch
URL: https://github.com/avikj/SnapStitch
Service: http://www.hackathon.io/snapstitch - Video-Summarization-with-LSTM
URL: https://github.com/kezhang-cs/Video-Summarization-with-LSTM
Papers
- http://openaccess.thecvf.com/content_cvpr_2017/papers/Sharghi_Query-Focused_Video_Summarization_CVPR_2017_paper.pdf | Query-Focused Video Summarization: Dataset, Evaluation, and A Memory Network Based Approach | https://www.aidean-sharghi.com/cvpr2017
- http://openaccess.thecvf.com/content_cvpr_2017/papers/Plummer_Enhancing_Video_Summarization_CVPR_2017_paper.pdf | Enhancing Video Summarization via Vision-Language Embedding
- https://arxiv.org/abs/1704.01466 A Unified Multi-Faceted Video Summarization System
- https://arxiv.org/pdf/1705.00581.pdf | Query-adaptive Video Summarization via Quality-aware Relevance Estimation
- https://arxiv.org/abs/1807.06677 | Query-Conditioned Three-Player Adversarial Network for Video Summarization
- https://arxiv.org/pdf/1804.11228.pdf | DTR-GAN: Dilated Temporal Relational Adversarial Network for Video Summarization
- https://arxiv.org/pdf/1801.00054.pdf | Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness Reward
まとめ
動画要約タスクは基本的にアノテータ（重要度を付ける人のこと）による重要度スコアを目標にして学習しています。特にTVSumとSumMeが評価用データセットとして使われている印象があります。
今から考えると8年前なのでそろそろGoogleさんとか新しいデータセット出してくれませんかね...？
人数も4人とか多くても50とかなので1000人とか10000人とかもっと規模が大きいデータセットが欲しいですね（莫大な容量に目を背けながら）