Github(video-summarization-resources)にまとめていらっしゃる方がいるためそれを調べてみたものです。

データセット

MED Summaries

URL: http://lear.inrialpes.fr/people/potapov/med_summaries
Reference Paper: Category-specific video summarization D.Potapov, M.Douze, Z.Harchaoui, C.Schmid, ECCV 2014 | hal.inria.fr/hal-01022967/
概要:

動的な動画要約評価のためのデータセット
60個のバリデーション動画と100個のテスト動画の計160個のデータ
テストには10種類のカテゴリーがある
12名のアノテーターにより作成された1～5分の要約動画がある

TVSum Dataset

URL: https://github.com/yalesong/tvsum
Reference Paper: TVSum: Summarizing web videos using titles | https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Song_TVSum_Summarizing_Web_2015_CVPR_paper.pdf
概要:

50のビデオに付与されたショットレベルの重要度スコア
20名のアノテータにより作成された
2秒ごとに動画を分割し、それぞれに重要度を付与している
ある期間の動画の重要度はその期間に付与されている重要度の平均とみなすことができる

UT Egocentric (UT Ego) Dataset

URL: http://vision.cs.utexas.edu/projects/egocentric_data/UT_Egocentric_Dataset.html
Reference Paper:

Discovering Important People and Objects for Egocentric Video Summarization| http://vision.cs.utexas.edu/projects/egocentric/
Story-Driven Summarization for Egocentric Video.| vision.cs.utexas.edu/projects/egocentric/storydriven.html

概要:

4つの3～5時間のビデオ
ヘッドマウントカメラで撮影された
重要度スコアが0.5以上の場合は「重要な箇所」とみなす

YoutTube Dataset(VSUMM: Video SUMMarization)

URL: https://sites.google.com/site/vsummsite/download
概要:

50の動画に対して50のユーザーによる要約動画の計250動画
+投稿者による要約
- 論文（Furini, M., Geraci, F., Montangero, M., Pellegrini, M. 2010 STIMO: STIll and MOving video storyboard for the web scenario. In: Multimedia Tools and Applications, vol. 46, no. 1, pp. 47-69.）の50個の要約動画

SumMe Dataset

URL: https://gyglim.github.io/me/vsum/index.html
概要:

25本のビデオで構成され、各ビデオには少なくとも15人の動画要約が付属している
評価用のPythonプログラムも付属している

追記：Git Repositories and papers

同じサイト内で紹介されていたので触れておく

Query-adaptive Video Summarization via Quality-aware Relevance Estimation, CVVPR 2017
URL: https://github.com/arunbalajeev/query-video-summary helpful: https://github.com/gyglim/gm_submodular
Reference: Video Summarization by Learning Submodular Mixtures of Objectives, CVVPR 2015
Unsupervised Video Summarization with Adversarial LSTM Networks
URL: https://github.com/j-min/Adversarial_Video_Summary
Automated (YouTube) Video Summarization Using Captions
URL: https://github.com/rkindi/vidDistill
PyTorch implementation of Video Summarization on Twitch (LOL) dataset| Video Highlight Prediction Using Audience Chat Reactions
URL: https://github.com/chengyangfu/Pytorch-Twitch-LOL
dataset: https://drive.google.com/drive/folders/0By9LEMeCDdboVDlHTDlqQUNHMnc?usp=sharing
Experimenting with different Summarizing techniques on SumMe Dataset
URL: https://github.com/shruti-jadon/Video-Summarization
SnapStitch
URL: https://github.com/avikj/SnapStitch
Service: http://www.hackathon.io/snapstitch
Video-Summarization-with-LSTM
URL: https://github.com/kezhang-cs/Video-Summarization-with-LSTM

Papers

http://openaccess.thecvf.com/content_cvpr_2017/papers/Sharghi_Query-Focused_Video_Summarization_CVPR_2017_paper.pdf | Query-Focused Video Summarization: Dataset, Evaluation, and A Memory Network Based Approach | https://www.aidean-sharghi.com/cvpr2017
http://openaccess.thecvf.com/content_cvpr_2017/papers/Plummer_Enhancing_Video_Summarization_CVPR_2017_paper.pdf | Enhancing Video Summarization via Vision-Language Embedding
https://arxiv.org/abs/1704.01466 A Unified Multi-Faceted Video Summarization System
https://arxiv.org/pdf/1705.00581.pdf | Query-adaptive Video Summarization via Quality-aware Relevance Estimation
https://arxiv.org/abs/1807.06677 | Query-Conditioned Three-Player Adversarial Network for Video Summarization
https://arxiv.org/pdf/1804.11228.pdf | DTR-GAN: Dilated Temporal Relational Adversarial Network for Video Summarization
https://arxiv.org/pdf/1801.00054.pdf | Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness Reward

まとめ

動画要約タスクは基本的にアノテータ（重要度を付ける人のこと）による重要度スコアを目標にして学習しています。特にTVSumとSumMeが評価用データセットとして使われている印象があります。
今から考えると8年前なのでそろそろGoogleさんとか新しいデータセット出してくれませんかね...？
人数も4人とか多くても50とかなので1000人とか10000人とかもっと規模が大きいデータセットが欲しいですね（莫大な容量に目を背けながら）