mp4のオーディオを劣化なしで差し替える方法を調べました。
mp4のmux/demuxができればできそうです。
ffmpegでできそうですが、オープンソースではなくLGPLの例外にも当てはまらないケースでやる方法を調べました。iphone/androidアプリを想定しています。
特許は調べられていません。mp4のmux/demuxだけなら問題無いと予想しているのですが、もし知っていたら教えてください。
(aacのエンコードはスコープ外とする)
まとめ
- Cordovaプラグインをつくった。
- 機能: mp4のmux/demux
- 対応プラットフォーム: iOS
- ライセンス: BSD 3 clause
選択肢
dlb_mp4baseを使う。
demux
dlb_mp4demuxを使う。
ライブラリ詳細
https://github.com/lieff/minimp4
mp4をmux,demuxするライブラリ。
ライセンスCC0。
demuxerがうまく機能しない。
muxerは機能する(サンプルでハードコードされているFPSやtime scaleは調整する必要あり)。
しかし、muxerのサンプルはpcmからaacエンコードしてmuxするサンプルなので、aacを直接やる方法は少し調べないとわからない。
https://github.com/DolbyLaboratories/dlb_mp4demux
mp4をdemuxするライブラリ。
ライセンス BSD 3-Clause License
demuxerが機能する。
https://github.com/DolbyLaboratories/dlb_mp4base
mp4をmuxするライブラリ。
ライセンス BSD 3-Clause License
muxが機能する。
https://github.com/DigiDNA/ISOBMFF
mp4をパースするライブラリ。
ライセンスMIT
これを使ったdemuxの実装方法は少し調べないとわからない。
その他の手法との関係
ios AVAssetExportSession
あまり調べていませんが多分再エンコードされるので無劣化にならなそうです。
ffmpeg
https://github.com/tanersener/mobile-ffmpeg
LGPL
LGPLとiosアプリについて
https://blog.tai2.net/lgpl_and_appstore.html
cordovaプラグイン
雑ですが作りました。
https://github.com/contribu/mp4muxdemux
問題
dlb_mp4baseで作ったmp4をsafariブラウザやmacやiphoneで再生できません。
ffprobeで確認すると、video, audio trackがどちらもdefaultになっていません。
mp4boxで確認すると、Track is disabledになっています。
mp4boxでenableにしたら再生できました。
dlb_mp4baseで出力されるmp4のトラックをenableにする方法を調べます。
まず、mp4boxは以下の箇所でtrack is disabledを出力する。
https://github.com/gpac/gpac/blob/14352eb2a5fde3b2ed380865bdfdd4bb915e1902/applications/mp4box/filedump.c#L2299
gf_isom_is_track_enabledは、トラックのヘッダーの1ビット目が立っているとtrue
https://github.com/gpac/gpac/blob/2c65e5604b469d4a4e1a1dc0c6cbe351f2d39a17/src/isomedia/isom_read.c#L856
dlb_mp4baseでトラックのヘッダーはいつ書き込まれるか？
勘だがここ
https://github.com/DolbyLaboratories/dlb_mp4base/blob/ad46704703d2f558a61c2dba444ae43a8e3effff/src/mp4_muxer.c#L7003
しかし、現状はこのフラグが使われていない。
おそらく、オプションを追加してここで渡してあげれば良さそう。
https://github.com/DolbyLaboratories/dlb_mp4base/blob/98fc2f52f318f41eeedcfc44bc2f430d7ca4eabd/frontend/mp4_muxer_app.c#L260
ema_mp4_mux_set_inputの中で
usr_cfg_es->force_tkhd_flags = 1;
を行ったら、safariやmacで再生可能なmp4ができました。
修正版リポジトリ
https://github.com/contribu/dlb_mp4base/compare/master...feature/enable_track?w=1
こういう調査は楽しいですが、
mp4boxを最初に見つけていれば時間を浪費しなくてすんだかもしれません
問題2
stdio.hで定義されたP_tmpdirというものが使われていて、
P_tmpdirはiosでは/var/tmpになっている。
dlb_mp4baseは処理の一時ファイルをここに書き込もうとするので
iphone simulatorでは動くが、iphoneでは動かない。
TMPDIR環境変数を使えばOK
iosでのTMPDIR環境変数
https://chaosinmotion.blog/2012/03/26/how-do-i-know-what-environment-variables-are-on-ios/
問題3
iphoneで撮影した動画をdemuxするとファイルが出力されない問題。
修正差分
https://github.com/contribu/mp4muxdemux/blob/master/src/common/demuxer.c#L320
問題4
iphoneで撮影した動画をdemux -> muxすると90度回転する問題。
iphoneで撮影したものの
mvhd
{ a = 65536, b = 0, u = 0, c = 0, d = 65536, v = 0, x = 0, y = 0, w = 1073741824 }
tkhd
{ a = 0, b = 65536, u = 0, c = 4294901760, d = 0, v = 0, x = 70778880, y = 0, w = 1073741824 }
demux -> muxしたものの
mvhd
{ a = 65536, b = 0, u = 0, c = 0, d = 65536, v = 0, x = 0, y = 0, w = 1073741824 }
tkhd
{ a = 65536, b = 0, u = 0, c = 0, d = 65536, v = 0, x = 0, y = 0, w = 1073741824 }
おそらくｍatrixを受け継げば良さそう。
chromeでだめだみたいな情報があったが、試したら、iphone動画はちゃんと表示される。多分古い情報。
参考情報
https://developer.apple.com/standards/qtff-2001.pdf
cordovaプラグインに実装DONE
問題4.1
mux後のファイルで、preferredtransformが少しだけ小さい値(1のはずが0.98など)を返す。
原因は不明。mp4のmatrixやwidth,heightは正しい値になっているので、おそらくpreferredtransformが悪い。
matrix引き継ぎの元データをpreferredtransformから取得すると問題がありそうなので、demuxerを改造して、tkhdをjsonで出力するようにした。
-> 再現しなくなったので誤認の可能性あり
objective-cで以下のコードを使ったせいかも
[track preferredtransform].a
いつもC++だから意識してない。もしそうだとしたら警告出して欲しい。
https://srad.jp/~Yak!/journal/533577/
↑要検証
代替案
libmp4v2
同じことができるかもしれません
mp4box.js
マジか。こんなのあったのか。最初に見つけていれば・・・
cordovaプラグイン作る必要なかったかもしれません
https://github.com/gpac/mp4box.js