tl;dr
- Vtuberの生放送がめっちゃ多いので切り抜きとかの要約技術が求められる
- 類似の研究をパクってコメントの流速が早いところを重要（＝おもしろい）とみなせばいいんじゃない？と思った
- やってみた。
- なんとなく抽出できてるような。。。？という気持ちになった
背景
- Vtuberの生放送、めっちゃ多くて見きれない問題がある
- 「にじさんじ」のライバーは現在70？人らしい
- 1人あたり週1時間の生放送をやっていたとすると、全部見るのに週70時間必要
- 週70時間＝10時間/日
- むりぃ。。。
- ということで、生放送の中で特に良かった部分がどこか知りたい需要があり、その需要に対する対応がいくつかある
- 「切り抜き」動画
- 生放送の面白い部分だけを切り取った動画
- 元の動画に字幕をつけたり、他の動画とか見てないとわからない部分のサポートがついてたりする
- 視聴者による面白かった部分を時間情報と併せたコメント
- 配信者によるまとめ動画
- 「切り抜き」動画
関連
動画の重要な部分を抜き出すのは映像要約というジャンルとして研究されている
近そうなやつとして、ニコニコ動画でコメントの流速を使った動画要約が研究されている
https://research.miyashita.com/papers/D6
ということで
youtubeの生放送（アーカイブ）からコメントを拾ってきて、その流速が早い箇所は面白かったのか見てみた
やり方
- 頑張ってコメントを取得する
- やり方はこちらへ -> https://qiita.com/miyatsuki/items/f86c1a751123b5e4107f
- 力技すぎるのでなんとかしたい。。。
- コメント数/分を動画時間の最初から最後まで数え上げる
- 配信開始前にコメントするとマイナス時間として記録されるが、面倒だったのでそれはすべて弾いた
- グラフ化して眺めてみる
結果を眺めてみる
使った動画
笹木ＶＳ叶 ～テトリス編～｜ぷよぷよテトリス
https://www.youtube.com/watch?v=lNWvuV9mzQI
注意: 此処から先はネタバレになるので、見る予定がある方は先に見てきてください
というか一回見てこないとこのあとの話意味わからないかも。。。
グラフ化した
※ 数字がついている部分は流速が早かった時間帯top5。
例: 39は39:00~39:59までを表す
コメント流速top5の部分で何が起きていたか
- 39分(259, 流速2位)
- （２人ともぷよぷよ初プレイだったので）ハンデになるはずのぷよvsテトで笹木が惨敗
- 質問コーナー１
- 44分(243, 4位)
- 笹木負ける
- 二色オムライスの話
- 質問コーナー２
- 60分(257, 3位)
- 泣きの一回を速攻やり直す
- やり直した結果、初手全消しを決められる
- 62分(242, 5位)
- 笹木の上目づかいが怖い
- 68分(262, 1位)
- 最終戦でもボコられる&うそなき
実際に切り抜かれたり、コメントで言及されていたもの
- 2分（流速55位）
- ここから動画開始というコメントなので他と毛色が違う
- 17分（8位）
- 21分（27位）
- 29分（15位）
- 42分（23位）
- 44分（4位）
- 49分（6位）
- 62分（5位）
- 言及数3回 + 切り抜き動画を一つ発見
所感
- すごく大雑把には動画の主要地点が拾えてるような気がしないでもない
- とはいえ一番言及されている地点とコメント流速が一致していない
- 残りがほぼ試合終了タイミングなので、対戦系の実況動画だと、決着がついた瞬間のほうが流速が早くなりがち？
- 配信者が視聴者に問いかけるようなことをすると必然的に流速が上がるのでそのバイアスを考える必要がある
- 要約という観点だとその瞬間だけ拾ってもコンテキストがつながらないので難しい
- 39分は流速数２位だが、２人ともぷよぷよ未経験という事実を知らないと面白さの意味がわからない
- 他の動画からのコンテキストを引っ張ってる場合もあり、それだと一つの動画だけ見ててもわからなかったり
いつかやる
- 今回の結果をもとに要約動画を作ってみたい
- 元の研究だと流速ピークから2,3秒間で拾っているが、youtube liveの場合、体感的にはもっとラグが大きいような気がしている
- コメントピーク前後1分くらい？
- 生放送中になにか起きてそれに反応するのに数秒だと厳しいのでは。。。？
- あとコメント収集が力技すぎてスケーラビリティ0なのでなんとかしたい