先日上海のAWSサミットを体験して中国のイメージがガラッと変わったhagi@streampackです。
以前の体験者の話や昔の記事と違い、上海は空気/生活環境的に素敵な街のイメージでした!
あとは言葉さえ通じれば問題はないのです。
はじめに
最近AV1について記事をよく見かけるので使ってみようと思い記事を残すこととしました。
ffmpegでもAV1を利用できるようになったので変換して再生してみます。
## AV1(AOMedia Video 1)とは
AOMedia Video 1 (AV1) はインターネット上での動画配信を目的として設計されたオープンかつロイヤリティフリーな動画圧縮コーデックである。このコーデックはGoogleのVP9、そしてMPEGのHEVC/H.265の置き換えを目指している。開発を行っているのは半導体産業、VODプロバイダやWebブラウザ開発主体の主要企業の出資により2015年に設立されたコンソーシアムであるAlliance for Open Media (AOMedia) である。
順番が逆ですがAOM(Alliance for Open Media)のページはこちら(https://aomedia.org)
環境
##EC2
OS:Amazon Linux AMI 2018.03
type:t2.medium (NVIDIAのGPUインスタンスはAV1エンコード未対応)
コンパイル
aomのコンパイルにはcmake3.5以上が必要。残念ながらAmazon Linuxのrepoにあるのは2.8.12です。
ffmpegのコンパイルでもcmakeを利用していたので既存のcmakeを削除してcmake.orgからバイナリをダウンロードしてインストールすることにした。
cmakeのインストール(Amazon Linux)
cmake.orgからバイナリをダウンロード
例:
ダウンロード
$ wget https://cmake.org/files/v3.12/cmake-3.12.0-rc1-Linux-x86_64.sh
実行
# /bin/sh cmake-3.12.0-rc1-Linux-x86_64.sh
aomのコンパイル
例:
# git clone --depth 1 https://aomedia.googlesource.com/aom
# mkdir aom_build
# cd aom_build
# /usr/local/cmake/bin/cmake -G "Unix Makefiles" -DCMAKE_INSTALL_PREFIX="$build_dir" -DENABLE_SHARED=off -DENABLE_NASM=on ../aom
# make; make install
$build_dir
は環境に合わせたところを指定しますがffmpegと連携するのでffmpegの$build_dir
を指定しました。私の$build_dirはffmpeg_buildを指定しました。
$build_dir
内のbinにバイナリーが作成されます。
# ls -la ffmpeg_build/bin/
-rwxr-xr-x 1 root root 5951488 Jun 22 12:43 aomdec
-rwxr-xr-x 1 root root 5998440 Jun 22 12:43 aomenc
# ls -la ffmpeg_build/lib
total 289516
-rw-r--r-- 1 root root 6943698 Jun 22 12:43 libaom.a
ffmpegのコンパイル
ffmpegのコンパイルガイドはこちらです。(https://trac.ffmpeg.org/wiki/CompilationGuide)
libaomを利用するためffmpegをコンパイルする際 --enable-libaom
を追記します。
私の環境では下記のようにコンパイルしました。
opensslも含めていますが私の環境で利用する場合便利なだけであって今回のAV1とは関係がないのでopensslのコンパイルについては割愛します。
# PKG_CONFIG_PATH="$build_dir/lib/pkgconfig" ./configure --prefix="$build_dir" --extra-cflags="-I$build_dir/include" --extra-ldflags="-L$build_dir/lib" --extra-libs=-lpthread --extra-libs=-lm --bindir="$bin_dir" --pkg-config-flags="--static" --enable-gpl --enable-nonfree --enable-libfdk-aac --enable-libfreetype --enable-libmp3lame --enable-libopus --enable-libvorbis --enable-libvpx --enable-libx264 --enable-libx265 --enable-openssl --enable-libaom
# make; make install
コンパイルしたら ffmpeg -codecs
でAV1対応か確認できます。
# ffmpeg -codecs
ffmpeg version N-91341-g40b7e60718 Copyright (c) 2000-2018 the FFmpeg developers
built with gcc 4.8.5 (GCC) 20150623 (Red Hat 4.8.5-28)
configuration: --prefix=/root/ffmpeg_build/ --extra-cflags=-I/root/ffmpeg_build/include --extra-ldflags=-L/root/ffmpeg_build/lib --extra-libs=-lpthread --extra-libs=-lm --bindir=/root/ffmpeg_build/bin --pkg-config-flags=--static --enable-gpl --enable-nonfree --enable-libfdk-aac --enable-libfreetype --enable-libmp3lame --enable-libopus --enable-libvorbis --enable-libvpx --enable-libx264 --enable-libx265 --enable-openssl --enable-libaom
libavutil 56. 18.102 / 56. 18.102
libavcodec 58. 20.103 / 58. 20.103
libavformat 58. 17.101 / 58. 17.101
libavdevice 58. 4.101 / 58. 4.101
libavfilter 7. 25.100 / 7. 25.100
libswscale 5. 2.100 / 5. 2.100
libswresample 3. 2.100 / 3. 2.100
libpostproc 55. 2.100 / 55. 2.100
Codecs:
D..... = Decoding supported
.E.... = Encoding supported
..V... = Video codec
..A... = Audio codec
..S... = Subtitle codec
...I.. = Intra frame-only codec
....L. = Lossy compression
.....S = Lossless compression
: :
DEV.L. av1 Alliance for Open Media AV1 (decoders: libaom-av1 ) (encoders: libaom-av1 )
: :
AV1へ変換
AV1への変換は時間がかかると聞いていたので短い動画で実行することにします。
以前(http://bbb3d.renderfarming.net/download.html) より"Big Buck Bunny"の動画をダウンロードしてテスト用に短くしたものを利用。
##利用動画
ファイル名: big_buck_bunny_720p_1mb.mp4
サイズ: 1.1mb
Duration: 5.31s
###Video
Codec:h264
Resolution:1280x720
Bitrate: 1589kbps
fps:25
###Audio
Codec:aac
frequency:48000hz
bitrate:384kbps
##h.264->AV1
AV1をmp4に入れることができないのでmkvにする。
# time ffmpeg -i big_buck_bunny_720p_1mb.mp4 -strict -2 -c:a copy -c:v libaom-av1 -cpu-used 2 -crf 30 big_buck_bunny_720p_1mb.mkv
ffmpeg version N-91341-g40b7e60718 Copyright (c) 2000-2018 the FFmpeg developers
built with gcc 4.8.5 (GCC) 20150623 (Red Hat 4.8.5-28)
configuration: --prefix=/root/ffmpeg_build/ --extra-cflags=-I/root/ffmpeg_build/include --extra-ldflags=-L/root/ffmpeg_build/lib --extra-libs=-lpthread --extra-libs=-lm --bindir=/root/ffmpeg_build/bin --pkg-config-flags=--static --enable-gpl --enable-nonfree --enable-libfdk-aac --enable-libfreetype --enable-libmp3lame --enable-libopus --enable-libvorbis --enable-libvpx --enable-libx264 --enable-libx265 --enable-openssl --enable-libaom
libavutil 56. 18.102 / 56. 18.102
libavcodec 58. 20.103 / 58. 20.103
libavformat 58. 17.101 / 58. 17.101
libavdevice 58. 4.101 / 58. 4.101
libavfilter 7. 25.100 / 7. 25.100
libswscale 5. 2.100 / 5. 2.100
libswresample 3. 2.100 / 3. 2.100
libpostproc 55. 2.100 / 55. 2.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'big_buck_bunny_720p_1mb.mp4':
Metadata:
major_brand : isom
minor_version : 512
compatible_brands: isomiso2avc1mp41
creation_time : 1970-01-01T00:00:00.000000Z
encoder : Lavf53.24.2
Duration: 00:00:05.31, start: 0.000000, bitrate: 1589 kb/s
Stream #0:0(und): Video: h264 (Main) (avc1 / 0x31637661), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], 1205 kb/s, 25 fps, 25 tbr, 12800 tbn, 50 tbc (default)
Metadata:
creation_time : 1970-01-01T00:00:00.000000Z
handler_name : VideoHandler
Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, 5.1, fltp, 384 kb/s (default)
Metadata:
creation_time : 1970-01-01T00:00:00.000000Z
handler_name : SoundHandler
Stream mapping:
Stream #0:0 -> #0:0 (h264 (native) -> av1 (libaom-av1))
Stream #0:1 -> #0:1 (copy)
Press [q] to stop, [?] for help
[libaom-av1 @ 0x4bb0bc0] v0.1.0
Output #0, matroska, to 'big_buck_bunny_720p_1mb.mkv':
Metadata:
major_brand : isom
minor_version : 512
compatible_brands: isomiso2avc1mp41
encoder : Lavf58.17.101
Stream #0:0(und): Video: av1 (libaom-av1) (AV01 / 0x31305641), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], q=-1--1, 200 kb/s, 25 fps, 1k tbn, 25 tbc (default)
Metadata:
creation_time : 1970-01-01T00:00:00.000000Z
handler_name : VideoHandler
encoder : Lavc58.20.103 libaom-av1
Side data:
cpb: bitrate max/min/avg: 0/0/0 buffer size: 0 vbv_delay: -1
Stream #0:1(und): Audio: aac (LC) ([255][0][0][0] / 0x00FF), 48000 Hz, 5.1, fltp, 384 kb/s (default)
Metadata:
creation_time : 1970-01-01T00:00:00.000000Z
handler_name : SoundHandler
frame= 132 fps=0.0 q=-0.0 Lsize= 416kB time=00:00:05.29 bitrate= 643.7kbits/s speed=0.00147x
video:163kB audio:250kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 0.890282%
real 59m50.255s
user 59m41.166s
sys 0m1.470s
オプションなしで約1時間!!!libaomのcpu-used
オプションを利用出来るかと思ったができませんでした。
指定が間違っているのかなー。とはいえ利用できたとしても時間はかかりそうです。
参考程度ですが比較用
右がAV1、左がh.264
h.264->x265
比較するとしてHEVCにした場合どれぐらい時間がかかるかというと
# time ffmpeg -i big_buck_bunny_720p_1mb.mp4 -threads 0 -strict -2 -c:a copy -c:v libx265 big_buck_bunny_720p_1mb_h265.mp4
ffmpeg version N-91341-g40b7e60718 Copyright (c) 2000-2018 the FFmpeg developers
built with gcc 4.8.5 (GCC) 20150623 (Red Hat 4.8.5-28)
configuration: --prefix=/root/ffmpeg_build/ --extra-cflags=-I/root/ffmpeg_build/include --extra-ldflags=-L/root/ffmpeg_build/lib --extra-libs=-lpthread --extra-libs=-lm --bindir=/root/ffmpeg_build/bin --pkg-config-flags=--static --enable-gpl --enable-nonfree --enable-libfdk-aac --enable-libfreetype --enable-libmp3lame --enable-libopus --enable-libvorbis --enable-libvpx --enable-libx264 --enable-libx265 --enable-openssl --enable-libaom
libavutil 56. 18.102 / 56. 18.102
libavcodec 58. 20.103 / 58. 20.103
libavformat 58. 17.101 / 58. 17.101
libavdevice 58. 4.101 / 58. 4.101
libavfilter 7. 25.100 / 7. 25.100
libswscale 5. 2.100 / 5. 2.100
libswresample 3. 2.100 / 3. 2.100
libpostproc 55. 2.100 / 55. 2.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'big_buck_bunny_720p_1mb.mp4':
Metadata:
major_brand : isom
minor_version : 512
compatible_brands: isomiso2avc1mp41
creation_time : 1970-01-01T00:00:00.000000Z
encoder : Lavf53.24.2
Duration: 00:00:05.31, start: 0.000000, bitrate: 1589 kb/s
Stream #0:0(und): Video: h264 (Main) (avc1 / 0x31637661), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], 1205 kb/s, 25 fps, 25 tbr, 12800 tbn, 50 tbc (default)
Metadata:
creation_time : 1970-01-01T00:00:00.000000Z
handler_name : VideoHandler
Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, 5.1, fltp, 384 kb/s (default)
Metadata:
creation_time : 1970-01-01T00:00:00.000000Z
handler_name : SoundHandler
Stream mapping:
Stream #0:0 -> #0:0 (h264 (native) -> hevc (libx265))
Stream #0:1 -> #0:1 (copy)
Press [q] to stop, [?] for help
x265 [info]: HEVC encoder version 2.1+60-df25adaa30f6
x265 [info]: build info [Linux][GCC 4.8.3][64 bit] 8bit
x265 [info]: using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2 AVX AVX2 FMA3 LZCNT BMI2
x265 [info]: Main profile, Level-3.1 (Main tier)
x265 [info]: Thread pool created using 2 threads
x265 [info]: Slices : 1
x265 [info]: frame threads / pool features : 1 / wpp(12 rows)
x265 [info]: Coding QT: max CU size, min CU size : 64 / 8
x265 [info]: Residual QT: max TU size, max depth : 32 / 1 inter / 1 intra
x265 [info]: ME / range / subpel / merge : hex / 57 / 2 / 2
x265 [info]: Keyframe min / max / scenecut / bias: 25 / 250 / 40 / 5.00
x265 [info]: Lookahead / bframes / badapt : 20 / 4 / 2
x265 [info]: b-pyramid / weightp / weightb : 1 / 1 / 0
x265 [info]: References / ref-limit cu / depth : 3 / on / on
x265 [info]: AQ: mode / str / qg-size / cu-tree : 1 / 1.0 / 32 / 1
x265 [info]: Rate Control / qCompress : CRF-28.0 / 0.60
x265 [info]: tools: rd=3 psy-rd=2.00 rskip signhide tmvp strong-intra-smoothing
x265 [info]: tools: lslices=4 deblock sao
Output #0, mp4, to 'big_buck_bunny_720p_1mb_h265.mp4':
Metadata:
major_brand : isom
minor_version : 512
compatible_brands: isomiso2avc1mp41
encoder : Lavf58.17.101
Stream #0:0(und): Video: hevc (libx265) (hev1 / 0x31766568), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], q=2-31, 25 fps, 12800 tbn, 25 tbc (default)
Metadata:
creation_time : 1970-01-01T00:00:00.000000Z
handler_name : VideoHandler
encoder : Lavc58.20.103 libx265
Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, 5.1, fltp, 384 kb/s (default)
Metadata:
creation_time : 1970-01-01T00:00:00.000000Z
handler_name : SoundHandler
frame= 132 fps= 16 q=-0.0 Lsize= 592kB time=00:00:05.29 bitrate= 915.9kbits/s speed=0.645x
video:335kB audio:250kB subtitle:0kB other streams:0kB global headers:2kB muxing overhead: 1.200387%
x265 [info]: frame I: 1, Avg QP:26.56 kb/s: 11815.40
x265 [info]: frame P: 34, Avg QP:28.22 kb/s: 1323.56
x265 [info]: frame B: 97, Avg QP:35.57 kb/s: 120.45
x265 [info]: Weighted P-Frames: Y:0.0% UV:0.0%
x265 [info]: consecutive B-frames: 5.7% 5.7% 14.3% 54.3% 20.0%
encoded 132 frames in 8.17s (16.15 fps), 518.94 kb/s, Avg QP:33.61
real 0m8.235s
user 0m15.667s
sys 0m0.118s
約8秒でした。threads 0
を使わなければおそらく15+秒だったと思われる。
約5秒の動画で8秒は問題ないかとGPUインスタンスでもないし
##x265->AV1
avcとhevcでは違いは?
HEVCにしたものをAV1に変化したら?
# time ffmpeg -i big_buck_bunny_720p_1mb_h265.mp4 -threads 0 -strict -2 -c:a copy -c:v libaom-av1 big_buck_bunny_720p_1mb_av1_from_hevc.mkv
ffmpeg version N-91341-g40b7e60718 Copyright (c) 2000-2018 the FFmpeg developers
built with gcc 4.8.5 (GCC) 20150623 (Red Hat 4.8.5-28)
configuration: --prefix=/root/ffmpeg_build/ --extra-cflags=-I/root/ffmpeg_build/include --extra-ldflags=-L/root/ffmpeg_build/lib --extra-libs=-lpthread --extra-libs=-lm --bindir=/root/ffmpeg_build/bin --pkg-config-flags=--static --enable-gpl --enable-nonfree --enable-libfdk-aac --enable-libfreetype --enable-libmp3lame --enable-libopus --enable-libvorbis --enable-libvpx --enable-libx264 --enable-libx265 --enable-openssl --enable-libaom
libavutil 56. 18.102 / 56. 18.102
libavcodec 58. 20.103 / 58. 20.103
libavformat 58. 17.101 / 58. 17.101
libavdevice 58. 4.101 / 58. 4.101
libavfilter 7. 25.100 / 7. 25.100
libswscale 5. 2.100 / 5. 2.100
libswresample 3. 2.100 / 3. 2.100
libpostproc 55. 2.100 / 55. 2.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'big_buck_bunny_720p_1mb_h265.mp4':
Metadata:
major_brand : isom
minor_version : 512
compatible_brands: isomiso2mp41
encoder : Lavf58.17.101
Duration: 00:00:05.31, start: 0.000000, bitrate: 912 kb/s
Stream #0:0(und): Video: hevc (Main) (hev1 / 0x31766568), yuv420p(tv, progressive), 1280x720 [SAR 1:1 DAR 16:9], 519 kb/s, 25 fps, 25 tbr, 12800 tbn, 25 tbc (default)
Metadata:
handler_name : VideoHandler
Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, 5.1, fltp, 384 kb/s (default)
Metadata:
handler_name : SoundHandler
Stream mapping:
Stream #0:0 -> #0:0 (hevc (native) -> av1 (libaom-av1))
Stream #0:1 -> #0:1 (copy)
Press [q] to stop, [?] for help
[libaom-av1 @ 0x3243800] v0.1.0
Output #0, matroska, to 'big_buck_bunny_720p_1mb_av1_from_hevc.mkv':
Metadata:
major_brand : isom
minor_version : 512
compatible_brands: isomiso2mp41
encoder : Lavf58.17.101
Stream #0:0(und): Video: av1 (libaom-av1) (AV01 / 0x31305641), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], q=-1--1, 200 kb/s, 25 fps, 1k tbn, 25 tbc (default)
Metadata:
handler_name : VideoHandler
encoder : Lavc58.20.103 libaom-av1
Side data:
cpb: bitrate max/min/avg: 0/0/0 buffer size: 0 vbv_delay: -1
Stream #0:1(und): Audio: aac (LC) ([255][0][0][0] / 0x00FF), 48000 Hz, 5.1, fltp, 384 kb/s (default)
Metadata:
handler_name : SoundHandler
frame= 132 fps=0.0 q=-0.0 Lsize= 419kB time=00:00:05.29 bitrate= 649.1kbits/s speed=0.000884x
video:166kB audio:250kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 0.879553%
real 99m46.998s
user 99m30.409s
sys 0m0.788s
約100分。。。かかるとは思っていたけど100分はきついですね。ちなみに調味本位でHEVCの約10分の動画をオプションなどを考えながら試したら8日間かかりました。
##AV1->x264
仮にAV1で動画が提供された場合を考え、AV1からx264ってどれくらいかかるんだろうと考え試してみました。
# time ffmpeg -i big_buck_bunny_720p_1mb.mkv -threads 0 -strict -2 -c:a copy -c:v libx264 big_buck_bunny_720p_1mb_264_from_AV1.mp4
ffmpeg version N-91341-g40b7e60718 Copyright (c) 2000-2018 the FFmpeg developers
built with gcc 4.8.5 (GCC) 20150623 (Red Hat 4.8.5-28)
configuration: --prefix=/root/ffmpeg_build/ --extra-cflags=-I/root/ffmpeg_build/include --extra-ldflags=-L/root/ffmpeg_build/lib --extra-libs=-lpthread --extra-libs=-lm --bindir=/root/ffmpeg_build/bin --pkg-config-flags=--static --enable-gpl --enable-nonfree --enable-libfdk-aac --enable-libfreetype --enable-libmp3lame --enable-libopus --enable-libvorbis --enable-libvpx --enable-libx264 --enable-libx265 --enable-openssl --enable-libaom
libavutil 56. 18.102 / 56. 18.102
libavcodec 58. 20.103 / 58. 20.103
libavformat 58. 17.101 / 58. 17.101
libavdevice 58. 4.101 / 58. 4.101
libavfilter 7. 25.100 / 7. 25.100
libswscale 5. 2.100 / 5. 2.100
libswresample 3. 2.100 / 3. 2.100
libpostproc 55. 2.100 / 55. 2.100
[libaom-av1 @ 0x47c4080] v0.1.0
Input #0, matroska,webm, from 'big_buck_bunny_720p_1mb.mkv':
Metadata:
COMPATIBLE_BRANDS: isomiso2avc1mp41
MAJOR_BRAND : isom
MINOR_VERSION : 512
ENCODER : Lavf58.17.101
Duration: 00:00:05.31, start: 0.000000, bitrate: 641 kb/s
Stream #0:0: Video: av1 (Main), yuv420p(tv), 1280x720, SAR 1:1 DAR 16:9, 25 fps, 25 tbr, 1k tbn, 1k tbc (default)
Metadata:
HANDLER_NAME : VideoHandler
ENCODER : Lavc58.20.103 libaom-av1
DURATION : 00:00:05.280000000
Stream #0:1: Audio: aac (LC), 48000 Hz, 5.1, fltp (default)
Metadata:
HANDLER_NAME : SoundHandler
DURATION : 00:00:05.312000000
[libaom-av1 @ 0x47c61c0] v0.1.0
Stream mapping:
Stream #0:0 -> #0:0 (av1 (libaom-av1) -> h264 (libx264))
Stream #0:1 -> #0:1 (copy)
Press [q] to stop, [?] for help
[libx264 @ 0x47c84c0] using SAR=1/1
[libx264 @ 0x47c84c0] using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2 AVX FMA3 AVX2 LZCNT BMI2
[libx264 @ 0x47c84c0] profile High, level 3.1
[libx264 @ 0x47c84c0] 264 - core 148 - H.264/MPEG-4 AVC codec - Copyleft 2003-2016 - http://www.videolan.org/x264.html - options: cabac=1 ref=3 deblock=1:0:0 analyse=0x3:0x113 me=hex subme=7 psy=1 psy_rd=1.00:0.00 mixed_ref=1 me_range=16 chroma_me=1 trellis=1 8x8dct=1 cqm=0 deadzone=21,11 fast_pskip=1 chroma_qp_offset=-2 threads=3 lookahead_threads=1 sliced_threads=0 nr=0 decimate=1 interlaced=0 bluray_compat=0 constrained_intra=0 bframes=3 b_pyramid=2 b_adapt=1 b_bias=0 direct=1 weightb=1 open_gop=0 weightp=2 keyint=250 keyint_min=25 scenecut=40 intra_refresh=0 rc_lookahead=40 rc=crf mbtree=1 crf=23.0 qcomp=0.60 qpmin=0 qpmax=69 qpstep=4 ip_ratio=1.40 aq=1:1.00
Output #0, mp4, to 'big_buck_bunny_720p_1mb_264_from_AV1.mp4':
Metadata:
COMPATIBLE_BRANDS: isomiso2avc1mp41
MAJOR_BRAND : isom
MINOR_VERSION : 512
encoder : Lavf58.17.101
Stream #0:0: Video: h264 (libx264) (avc1 / 0x31637661), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], q=-1--1, 25 fps, 12800 tbn, 25 tbc (default)
Metadata:
HANDLER_NAME : VideoHandler
DURATION : 00:00:05.280000000
encoder : Lavc58.20.103 libx264
Side data:
cpb: bitrate max/min/avg: 0/0/0 buffer size: 0 vbv_delay: -1
Stream #0:1: Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, 5.1, fltp (default)
Metadata:
HANDLER_NAME : SoundHandler
DURATION : 00:00:05.312000000
frame= 132 fps= 29 q=-1.0 Lsize= 977kB time=00:00:05.29 bitrate=1512.8kbits/s speed=1.17x
video:722kB audio:250kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 0.542971%
[libx264 @ 0x47c84c0] frame I:1 Avg QP:20.71 size: 86792
[libx264 @ 0x47c84c0] frame P:37 Avg QP:21.81 size: 12935
[libx264 @ 0x47c84c0] frame B:94 Avg QP:27.13 size: 1846
[libx264 @ 0x47c84c0] consecutive B-frames: 2.3% 7.6% 2.3% 87.9%
[libx264 @ 0x47c84c0] mb I I16..4: 3.6% 84.4% 12.1%
[libx264 @ 0x47c84c0] mb P I16..4: 1.4% 4.3% 0.4% P16..4: 35.0% 12.2% 6.7% 0.0% 0.0% skip:40.1%
[libx264 @ 0x47c84c0] mb B I16..4: 0.1% 0.3% 0.0% B16..8: 30.3% 1.2% 0.2% direct: 0.4% skip:67.5% L0:44.4% L1:53.2% BI: 2.4%
[libx264 @ 0x47c84c0] 8x8 transform intra:74.4% inter:80.0%
[libx264 @ 0x47c84c0] coded y,uvDC,uvAC intra: 63.5% 66.8% 25.8% inter: 7.2% 7.1% 0.3%
[libx264 @ 0x47c84c0] i16 v,h,dc,p: 10% 17% 2% 70%
[libx264 @ 0x47c84c0] i8 v,h,dc,ddl,ddr,vr,hd,vl,hu: 20% 18% 10% 5% 10% 10% 10% 9% 8%
[libx264 @ 0x47c84c0] i4 v,h,dc,ddl,ddr,vr,hd,vl,hu: 23% 15% 9% 6% 12% 11% 9% 10% 5%
[libx264 @ 0x47c84c0] i8c dc,h,v,p: 47% 20% 21% 12%
[libx264 @ 0x47c84c0] Weighted P-Frames: Y:0.0% UV:0.0%
[libx264 @ 0x47c84c0] ref P L0: 60.9% 20.6% 14.6% 4.0%
[libx264 @ 0x47c84c0] ref B L0: 93.6% 5.4% 1.1%
[libx264 @ 0x47c84c0] ref B L1: 97.7% 2.3%
[libx264 @ 0x47c84c0] kb/s:1119.51
real 0m4.618s
user 0m7.805s
sys 0m0.149s
はやい。約8秒で出来上がりました。libaomのデコードは早いですね。
。。。とはいえAV1で提供はまだ難しいかもです。
下記は左から元動画(h.264)、元動画->AV1、AV1->x264。
##h.264->vp9
ここでVP9からAV1はどうだろうと思いまずはVP9を作成してみました。
案の定あまりオプションにはこだわっていません。
# time ffmpeg -i big_buck_bunny_720p_1mb -threads 0 -strict -2 -c:a copy -c:v libx264 big_buck_bunny_720p_1mb_264_from_AV1.mp4
big_buck_bunny_720p_1mb_264_from_AV1.mp4 big_buck_bunny_720p_1mb_frag.mp4 big_buck_bunny_720p_1mb_h265.mp4 big_buck_bunny_720p_1mb.mp4
big_buck_bunny_720p_1mb_av1_from_hevc.mkv big_buck_bunny_720p_1mb_h265.mkv big_buck_bunny_720p_1mb.mkv
[root@livetest-01-1c ~]# time ffmpeg -i /root/big_buck_bunny_720p_1mb.mp4 -threads 0 -strict -2 -c:a copy -c:v libvpx-vp9 big_buck_bunny_720p_1mb_vp9_from_264.mkv
ffmpeg version N-91341-g40b7e60718 Copyright (c) 2000-2018 the FFmpeg developers
built with gcc 4.8.5 (GCC) 20150623 (Red Hat 4.8.5-28)
configuration: --prefix=/root/ffmpeg_build/ --extra-cflags=-I/root/ffmpeg_build/include --extra-ldflags=-L/root/ffmpeg_build/lib --extra-libs=-lpthread --extra-libs=-lm --bindir=/root/ffmpeg_build/bin --pkg-config-flags=--static --enable-gpl --enable-nonfree --enable-libfdk-aac --enable-libfreetype --enable-libmp3lame --enable-libopus --enable-libvorbis --enable-libvpx --enable-libx264 --enable-libx265 --enable-openssl --enable-libaom
libavutil 56. 18.102 / 56. 18.102
libavcodec 58. 20.103 / 58. 20.103
libavformat 58. 17.101 / 58. 17.101
libavdevice 58. 4.101 / 58. 4.101
libavfilter 7. 25.100 / 7. 25.100
libswscale 5. 2.100 / 5. 2.100
libswresample 3. 2.100 / 3. 2.100
libpostproc 55. 2.100 / 55. 2.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'big_buck_bunny_720p_1mb.mp4':
Metadata:
major_brand : isom
minor_version : 512
compatible_brands: isomiso2avc1mp41
creation_time : 1970-01-01T00:00:00.000000Z
encoder : Lavf53.24.2
Duration: 00:00:05.31, start: 0.000000, bitrate: 1589 kb/s
Stream #0:0(und): Video: h264 (Main) (avc1 / 0x31637661), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], 1205 kb/s, 25 fps, 25 tbr, 12800 tbn, 50 tbc (default)
Metadata:
creation_time : 1970-01-01T00:00:00.000000Z
handler_name : VideoHandler
Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, 5.1, fltp, 384 kb/s (default)
Metadata:
creation_time : 1970-01-01T00:00:00.000000Z
handler_name : SoundHandler
Stream mapping:
Stream #0:0 -> #0:0 (h264 (native) -> vp9 (libvpx-vp9))
Stream #0:1 -> #0:1 (copy)
Press [q] to stop, [?] for help
[libvpx-vp9 @ 0x4ace900] v1.6.0
Output #0, matroska, to 'big_buck_bunny_720p_1mb_vp9_from_264.mkv':
Metadata:
major_brand : isom
minor_version : 512
compatible_brands: isomiso2avc1mp41
encoder : Lavf58.17.101
Stream #0:0(und): Video: vp9 (libvpx-vp9) (VP90 / 0x30395056), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], q=-1--1, 200 kb/s, 25 fps, 1k tbn, 25 tbc (default)
Metadata:
creation_time : 1970-01-01T00:00:00.000000Z
handler_name : VideoHandler
encoder : Lavc58.20.103 libvpx-vp9
Side data:
cpb: bitrate max/min/avg: 0/0/0 buffer size: 0 vbv_delay: -1
Stream #0:1(und): Audio: aac (LC) ([255][0][0][0] / 0x00FF), 48000 Hz, 5.1, fltp, 384 kb/s (default)
Metadata:
creation_time : 1970-01-01T00:00:00.000000Z
handler_name : SoundHandler
frame= 132 fps=9.0 q=0.0 Lsize= 419kB time=00:00:05.29 bitrate= 648.6kbits/s speed=0.359x
video:166kB audio:250kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 0.897152%
real 0m14.785s
user 0m25.467s
sys 0m0.125s
約25秒でした。2コアで約15秒NVDIAのGPU使ったらもっと早いだろうけど。
##vp9->AV1
もしかしたらVP9->AV1は爆速では?
# time ffmpeg -i big_buck_bunny_720p_1mb_vp9_from_264.mkv -threads 0 -strict -2 -c:a copy -c:v libaom-av1 big_buck_bunny_720p_1mb_AV1_from_vp9.mkv
ffmpeg version N-91341-g40b7e60718 Copyright (c) 2000-2018 the FFmpeg developers
built with gcc 4.8.5 (GCC) 20150623 (Red Hat 4.8.5-28)
configuration: --prefix=/root/ffmpeg_build/ --extra-cflags=-I/root/ffmpeg_build/include --extra-ldflags=-L/root/ffmpeg_build/lib --extra-libs=-lpthread --extra-libs=-lm --bindir=/root/ffmpeg_build/bin --pkg-config-flags=--static --enable-gpl --enable-nonfree --enable-libfdk-aac --enable-libfreetype --enable-libmp3lame --enable-libopus --enable-libvorbis --enable-libvpx --enable-libx264 --enable-libx265 --enable-openssl --enable-libaom
libavutil 56. 18.102 / 56. 18.102
libavcodec 58. 20.103 / 58. 20.103
libavformat 58. 17.101 / 58. 17.101
libavdevice 58. 4.101 / 58. 4.101
libavfilter 7. 25.100 / 7. 25.100
libswscale 5. 2.100 / 5. 2.100
libswresample 3. 2.100 / 3. 2.100
libpostproc 55. 2.100 / 55. 2.100
Input #0, matroska,webm, from 'big_buck_bunny_720p_1mb_vp9_from_264.mkv':
Metadata:
COMPATIBLE_BRANDS: isomiso2avc1mp41
MAJOR_BRAND : isom
MINOR_VERSION : 512
ENCODER : Lavf58.17.101
Duration: 00:00:05.31, start: 0.000000, bitrate: 645 kb/s
Stream #0:0: Video: vp9 (Profile 0), yuv420p(tv), 1280x720, SAR 1:1 DAR 16:9, 25 fps, 25 tbr, 1k tbn, 1k tbc (default)
Metadata:
HANDLER_NAME : VideoHandler
ENCODER : Lavc58.20.103 libvpx-vp9
DURATION : 00:00:05.280000000
Stream #0:1: Audio: aac (LC), 48000 Hz, 5.1, fltp (default)
Metadata:
HANDLER_NAME : SoundHandler
DURATION : 00:00:05.312000000
Stream mapping:
Stream #0:0 -> #0:0 (vp9 (native) -> av1 (libaom-av1))
Stream #0:1 -> #0:1 (copy)
Press [q] to stop, [?] for help
[libaom-av1 @ 0x4279240] v0.1.0
Output #0, matroska, to 'big_buck_bunny_720p_1mb_AV1_from_vp9.mkv':
Metadata:
COMPATIBLE_BRANDS: isomiso2avc1mp41
MAJOR_BRAND : isom
MINOR_VERSION : 512
encoder : Lavf58.17.101
Stream #0:0: Video: av1 (libaom-av1) (AV01 / 0x31305641), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], q=-1--1, 200 kb/s, 25 fps, 1k tbn, 25 tbc (default)
Metadata:
HANDLER_NAME : VideoHandler
DURATION : 00:00:05.280000000
encoder : Lavc58.20.103 libaom-av1
Side data:
cpb: bitrate max/min/avg: 0/0/0 buffer size: 0 vbv_delay: -1
Stream #0:1: Audio: aac (LC) ([255][0][0][0] / 0x00FF), 48000 Hz, 5.1, fltp (default)
Metadata:
HANDLER_NAME : SoundHandler
DURATION : 00:00:05.312000000
frame= 132 fps=0.0 q=-0.0 Lsize= 424kB time=00:00:05.29 bitrate= 657.0kbits/s speed=0.000827x
video:171kB audio:250kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 0.872597%
real 106m36.573s
user 105m51.992s
sys 0m0.973s
そんなことなかった、h264やh265からの変換よりもさらに遅い。
#結果
今回は特にffmpegの変換時のオプション/画質などにこだわらずまずはAV1への変換ってどんな感じだろうと思い、やりました。
結果まだまだAV1は利用が難しいと思いました。
Encode | Time (ffmpeg) | bitrate | File size | vmaf score |
---|---|---|---|---|
h.264 (元動画) | - | 1205kbps | 1.1mb | 99.092110 |
h.264->AV1 | 59m50.255s | 641kbps | 416kb | 78.207255 |
h.264->x265 | 0m15.785s | 912kbps | 592kb | 86.672754 |
x265->AV1 | 99m46.998s | 649kbps | 420kb | 76.202847 |
AV1->x264 | 0m7.954s | 1120kbps | 978kb | 76.669449 |
h.264->vp9 | 0m25.592s | 645 kbps | 419kb | 71.359159 |
vp9->AV1 | 106m36.573s | 654 kbps | 425kb | 67.084651 |
VMAFスコアも記述しましたが、どうしてもエンコード時にはあまり画質を意識していなかったためか低くなっています。
オプションなしの場合の参考程度にしかなりませんが
#おまけ
##再生
そもそもAV1どうやって再生したんだ。との指摘がありそうなので記述します。
libaomがコンパイルされたffplay
で再生が可能です。
OSXやWindows用コンパイル済みバイナリをここから ダウンロードできます。
例:
# ffplay big_buck_bunny_720p_1mb.mp4