More than 3 years have passed since last update.

凛世の自転周期を計測する

Last updated at 2020-05-07Posted at 2020-05-06

■緊急告知■
杜野凛世フィギュア 100時間連続配信をYoutubeで実施します！！

GW中、回転台の上に乗せた凛世のフィギュアを100時間放送し続けるだけの配信です。

開始時間は明日2日(土)の11時！#シャニマス #凛世100時間配信

⬇️待機所⬇️https://www.youtube.com/watch?v=kZZt3OCrbDU&feature=youtu.be pic.twitter.com/khhkrddmTc
— amiami_product (@amiami_products) May 1, 2020

【シャニマス】杜野凛世フィギュア 100時間耐久配信！！〈amiami〉

体験版: 【シャニマス】杜野凛世フィギュア 30分間ミニ耐久配信！！〈amiami〉

いえ、プロデューサーさまに、お喜びいただく……
それだけが、凛世の幸せなのです

いや、なんていうか……
ちょっと聞いてみたいんだけど

はい。どのような、ことでも

なんで 100 時間回転してるんだ?

『なんのために……』

まわる……まわる……

ふと思いたって差分をとってみたら時間帯によって自転周期が変化していることに気付いてしまったのだ……。

#凛世100時間配信
だんだん速くなってた pic.twitter.com/rD9Subk0DD
— イショティハドゥス (@Ishotihadus) May 3, 2020

いやまさかループじゃなくて本当にライブ放送だったとは……。

しかもリアルタイムである。

地震で揺れる凛世 #凛世100時間配信 pic.twitter.com/38xkl8NG54
— イショティハドゥス (@Ishotihadus) May 5, 2020

地震情報

どうぞ……お付き合いくださいませ……
プロデューサーさま……

streamlink / youtube-dl

……
『恋（ライブ hls）は野の鳥』……

『来たと思えば（expire して）飛んでいく』……

youtube-dl

何も考えなくてもリンク貼るだけで動いて便利。

ライブ HLS はどうしても ffmpeg に通されるらしい。

ライブ時は --hls-use-mpegts というおまじないがある。異常終了しても再生可能なデータが残る。

streamlink

出力ファイル名はもちろん画質すら与えないといけない。何か考えないと動かない。

ts そのままダウンロードできる。便利。ts にしか乗らない情報がほしい場合にはこっちを使うとよい。

youtube-dl & streamlink V.S. 6 時間の壁

3 つめ（のログ）は……
何色だったでしょう……

紅だったかも……
しれません……

YouTube のダウンローダは、get_video_info にアクセスして、player_response にある json の streamingData/hlsManifestUrl に書いてある m3u8 のマニフェストをダウンロードしてきて、さらにその中にある m3u8 プレイリストを読みまくることで実現されている。

curl 'https://www.youtube.com/get_video_info?video_id=kZZt3OCrbDU' | 
ruby -r json -r uri -e "puts JSON.parse(URI.decode_www_form(gets).to_h['player_response'])['streamingData']['hlsManifestUrl']"
# => https://manifest.googlevideo.com/api/manifest/hls_variant/expire/ ... /file/index.m3u8

このマニフェストやプレイリストはちょうど 6 時間で失効してしまうので、同じマニフェストは 6 時間しか連続して使えないことになる。
もちろん再発行すれば済む話だが、どうも youtube-dl も streamlink もこれに対応しておらず、残念ながらこれらを使うかぎり連続 6 時間までしか保存できない。
streamlink は一時期対応していたらしいが、どうやらこの挙動は最近の挙動らしく、コケる。すかぽんたん。

どちらも負けでございます。

あたらしいツールを作ったり streamlink をいじったりする気力はさすがにないので、（連続している必要がないなら）シェルで while 文を回したほうがはやい。今回はめんどうくさいのでそうした。

ゆうて ts つなげるだけだしたぶん 3 時間くらいで書けそう。誰かやって。

まあバッファの長さが 30 秒なので、短時間で切り替えられるなら後処理でも実はなんとかなる。

ちなみに Web 版の YouTube 本体はどうしているのかというと、どうやら 6 時間ごとにリロードがはいる。ちらっとリロード表示が出る。凛世ずっと回してたからわかる……。

『どうやって……どこから……』

手法

凛世はずっとずっと同じ場所で同じように回り続けるので、あるフレームの凛世を適当にキャプチャして（リファレンス凛世）、毎フレームの凛世とリファレンス凛世の差分をとって、凛世の差異を計算すればよい。

各フレームの PSNR を計算しようと思い MATLAB を取りだし Computer Vision Toolbox をせこせことインストールしたが、MATLAB にはそもそも VideoReader があるし、VideoReader はクソ遅いし、ありがとう MATLAB、いいやつだったよ。手法の挙動確認には便利なんだ。この恩は忘れない。

『身の回りの MATLAB Toolbox が、少し増えました』
『大変愉快なものばかりです』

ffmpeg でできる。後処理がめんどうくさいので sed をかました。凛世は Darwin の上で回転してしまったので、BSD sed が使われている。ところでこの「かます」は俗語なので中高型ではなく平板型である。

ffmpeg -i りんぜ.ts -i reference.png -filter_complex psnr=- -an -f null /dev/null | sed -Ee 's/n:([0-9]+) .* psnr_y:([0-9.]+).*/\1 \2/' > りんぜ.txt

セグメントロスの罠

YouTube は 5 秒のセグメントごとにわけて送ってくるが、このセグメントが落ちることがあるらしく（受信側の問題なのか配信者の問題なのか YouTube 側の問題なのかよくわからない）、5n 秒凛世が瞬間移動してしまう場合がある。これは外れ値検出を上手にやれば回避できそうだ。

セグメント……
セグメント…………

凛世を……
慰めて……くれるのですか……

どうでもいいが、YouTube はどうも完全に連続したライブ配信をするのは苦手らしく、何十時間と連続して見ていると挙動が怪しくなったりするときも訪れるらしい。YouTube の動画配信サーバが応答を返してくれなくなったりする。ほとんどの視聴者が追いだされたこともあった。これはもうその都度 Ctrl-C するしかない。

実装

ファイルの作成日時を stat コマンドで確認しながら ffmpeg をちまちまと叩いて psnr を計算しまくる（これは途中の画像）。

次にこれを MATLAB スクリプトでどん。

誰も使わないであろうスクリプト

function [x, y, v] = script
% x: ピークの時刻のリスト
% y: そのときの凛世の自転周期のリスト
% v: そのときの PSNR
files = dir('rinze_*.txt');
paths = arrayfun(@(e) fullfile(e.folder, e.name), files, 'un', 0);
names = arrayfun(@(e) e.name, files, 'un', 0);
tokens = regexp(names, '^rinze_(\d{4})(\d{2})(\d{2})_(\d{2})(\d{2})(\d{2})\.txt$', 'tokens');
ctimes = cellfun(@(t) datetime(cellfun(@str2double, t{1})), tokens, 'un', 0);
[x, y, v] = cellfun(@process_file, paths, ctimes, 'un', 0);
x = cell2matdatetime(x);
y = cell2mat(y);
v = cell2mat(v);


function [x, y, v] = process_file(path, ctime)
FPS = 30 * 1000 / 1001;
LEN = FPS * 30;

file = fopen(path);
list = fscanf(file, '%d %f', [2 Inf]);
fclose(file);

% 初期位置は 30 秒すすめたところ
s = LEN;

peaks = [];
while true
    e = s + LEN * 2;
    if e > size(list, 2)
        break
    end
    % 基準点から 60 秒間で最も PSNR が高い時刻をとってくる
    [~, idx] = max(list(2, s+1:e));
    idx = s + idx - 1;
    peaks = [peaks; idx]; %#ok<AGROW> 
    s = idx + LEN;
end

% リスト生成
x = ctime + seconds(peaks / FPS);
y = diff(peaks / FPS);
v = list(2, peaks + 1)';
sz = numel(y);

% 外れ値の除去
y2 = y;
for i = 1:sz
    indices = i + [-3:-1 1:3];
    indices = indices(0 < indices & indices <= sz);
    score = mean(y2(indices)) - y(i);
    if score > 2.5
        warning('Outlier - date:%s, period:%f, score:%f', x(i), y(i), score);
        y(i) = NaN;
    end
end

% y は diff をとっている都合上 1 つ増やす必要がある
y = [y; NaN];


function output = cell2matdatetime(input)
% datetime に cell2mat が使えなかったので苦肉の策
output = NaT(sum(cellfun(@numel, input)), 1);
s = 0;
for i = 1:numel(input)
    c = input{i};
    sz = numel(c);
    output(s + 1:s + sz) = c;
    s = s + sz;
end