このドキュメントの目的

ハッカソンという限られた時間の中でのサーバーサイドエンジニアの乗り切り方を伝授したい。

このドキュメントを書いた理由

私自信が徹夜がしんどくなってきたので、ハッカソンが辛いというのがある。
美味しい食事も用意してくれていたりして大変ありがたいのだが、寝不足がたたると、消化能力が落ちる。レッドブルでさえも栄養がありすぎて、吸収できない。若手に伝授したい。

最後は当時使ってたメモをそのまま貼り付けている。

私の立ち位置

ハッカソンの中では基本的にはサーバーサイド。Webプログラミングが多かった頃とは違って、スマホアプリのハッカソンでは、役割の一部でしかない。ただ、それでもサーバーサイドエンジニアは大事。

スマホアプリハッカソンでのサーバーサイドの役割

SPAJAMなどは、スマホアプリのハッカソンなので、一番大事なのはスマホ側のネイティブアプリなのだが、スマホは「Phone」でもあるので、コミュニケーション機能は大事。そうなるとどっかにDBがあって、それを読み書きする機能は必要。

イマドキはFireBaseなどのサーバレスアーキテクチャもでてきて、いよいよサーバサイドエンジニアリングが必要ないケースもでてくる。

だからサーバサイドエンジニアは「FireBaseでもできないよほど面倒くさいこと」をやらないと存在意義がない。

お題「サーバーサイドで360度動画を作りたい」

SPAJAM2016では、360度動画を作った。なんやかんやで優勝というありがたい賞を頂いた。

そんな中で、どうやってサーバーサイドを並行して作っていくかということを説明したい。

シナリオ

ユーザーAは動画を録画してアップロードする 2.ユーザーBは動画を録画してアップロードする
サーバはユーザAとBの動画をマージして360度動画にする

これが大まかな流れ。普通の動画から360度動画への変換がミソ。そのプログラムを一晩で作り切る。あがるー。

処理の流れ

どうやって360度動画を作るのか。

動画をパラパラの静止画と音声に分ける
パラパラの静止画を360度のための天地の余白を付ける
その静止画を複数人で並べる 4.複数人で並べたらパラパラを元の動画に戻す
先に分けた複数人の音声を合成する
360度動画にするためのメタデータを付与する

こういう手順。一つ一つの単品作業はやればできる。

動画系はffmegを丹念につかう。
音声系はsoxというコマンドを丹念につかう。

一番のポイントは、「単一のプログラムにしない」ということ。
ハッカソンだからというのもあるが、バラバラに進めることで、作業分担もできるし、問題の切り分けもシンプル。

別プログラムになることで、rubyとPythonの混在も可能。各エンジニアが得意な言語で作れる。

ffmpegやsoxコマンドは、ターミナル上で実行するチュートリアルの、inputとoutput のデータを差し替えていくだけ。

中間ファイルの嵐にはなるのだが、外からは分からない。どんくさくても構わない。

並行稼動をするときには、ユニークなテンポラリのディレクトリを作ればOK。

そんなの当たり前だよ！という意見もあるかもしれないが、ImageMagicなら、各言語にバインディングされたライブラリが提供されていたりするんだけど、そういうの要らない。外部コマンド呼び出しでいい。

ということで、動きとしてはこうなる。

ffmpegのオプションを試す
出力データをみる
やりなおす
うまくいったら、それをラッパーのシェルスクリプトに組み込む。

この繰り返し。

こういうサイトを参考にプログラムに組み込む前に手元で試す。
https://qiita.com/matoken/items/664e7a7e8f31e8a46a60

ここから先は手元で試した結果

こういうのを一晩でガーッと作って、朝くらいに合体させる。

ファイルの情報を表示

ffmpeg -i  20160702_204326.mp4

フレームレート15で切り出し

ffmpeg -i 20160702_204244.mp4  -r 15 -f image2   jpeg/%06d.jpg

mp4をmp3に変換してオーディオのみ抽出

ffmpeg -i 20160702_204244.mp4 -acodec libmp3lame -ab 256k mp3/20160702_204244.mp3

フレームレート15で切り出し

ffmpeg -i data/a.mp4  -r 15 -f image2   data/jpeg/a_%06d.jpg
ffmpeg -i data/b.mp4  -r 15 -f image2   data/jpeg/b_%06d.jpg
ffmpeg -i data/c.mp4  -r 15 -f image2   data/jpeg/c_%06d.jpg

足りないコマを足す

ruby pad_frame.rb

ファイルを結合する

ruby merge_jpeg.rb

余白を作るこれで成功

mogrify -resize 960x960 -gravity center -background "#000000" -extent 960x960 data/merged/*.jpg

960×960の3人の合成の連番jpegを動画に合成

ffmpeg -f image2 -r 15 -start_number 1 -i data/merged/%06d.jpg -r 15 -an -vcodec libx264 -pix_fmt yuv420p silent.mp4

音声のみとりだし

ffmpeg -i a.mp4 -acodec libmp3lame -ab 256k audio/a.mp3
ffmpeg -i b.mp4 -acodec libmp3lame -ab 256k audio/b.mp3
ffmpeg -i c.mp4 -acodec libmp3lame -ab 256k audio/c.mp3

音声を複数つなげる

sox -m data/audio/a.mp3 data/audio/b.mp3 data/audio/c.mp3 data/audio/merged.mp3

音声とムービーを結合（オプションなし）

ffmpeg   -i silent.mp4 -i data/audio/merged.mp3    2d.mp4

メタデータを注入する

python spatial-media-master/spatialmedia -i 2d.mp4 injected.mp4

以下検証に使ったコマンド

バラしたものを戻しただけ（単体で検証）

ffmpeg -f image2 -r 15 -start_number 1 -i data/kensho/a_%06d.jpg -r 15 -an -vcodec libx264 -pix_fmt yuv420p video.mp4