0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

FFmpegとWebCodecs:ブラウザ動画パイプライン

0
Posted at

対応デバイス向けのネイティブコーデック。他のすべてのWebAssemblyの後ろ盾。

Mediatavioエンジニアリングによる

元の記事を読む

比較対象

この記事では、ブラウザ内でシングルスレッドWebAssemblyとして動作する FFmpeg と、ブラウザのネイティブ WebCodecs API を比較します。これはデスクトップやサーバー FFmpegと比較するものではなく、これらもハードウェアエンコーダを利用できます。

Mediatavioはこのハイブリッドパイプラインを ビデオコンバーター, ビデオコンプレッサー, ビデオトリマー, ビデオクロッパー および互換性のあるエクスポート ビデオから音声へ.

技術的な違い

能力 FFmpeg WebAssembly WebCodecs Mediabunny
コーデックの実装 ソフトウェアコーデックをWebAssemblyにコンパイル ネイティブブラウザコーデック;利用可能なハードウェアアクセラレーション
コンテナ取り扱い 内蔵デマクサおよびマクサ Mediabunnyコンテナの読み書きを行います。WebCodecsだけではそうではありません
互換性 私たちのFFmpegビルドに含まれるコーデックによります ブラウザ、オペレーティングシステム、コーデック、設定によります
記憶 WebAssemblyファイルシステム内の入力および出力ファイル ブロブバックの入力キューと境界付きコーデックキュー;最終出力は依然としてバッファリングされています
スタートアップ WebAssemblyエンジンをダウンロードし、検証し、初期化します メディアライブラリを読み込み、ネイティブコーデックを初期化します
展開 標準ブラウザWebAssemblyとワーカーサポート HTTPSまたはlocalhost、ワーカーおよび必要なコーデックサポート

モバイルブラウザがVideoEncoderを公開しているからといって、特定のH.264プロファイルや解像度をエンコードできる保証はありません。実際の変換を検証し、必要なトラックがエクスポートできない場合はフォールバックします。

測定結果

測定値は1つの試験環境で記録されます。これらは例であり、他のコンピュータやブラウザ、スマートフォンの速度保証ではありません。

環境:Windows x64、VS Code統合Chromium 150.0.7871.250 / Electron 43.8.3、14台の論理プロセッサが報告されています。入力:12秒の合成アニメーション、640×360ピクセル、30fps、VP8、1,033,406バイト、音声なし。両方の出力はWebM、VP8、ソース解像度、30fps、目標ビットレート394,264ビット毎秒を使用しています。

壁掛け時計の時間を数秒単位でエクスポートできます。バックエンドごとに3連続ラン。

測定 WebCodecs FFmpeg WebAssembly
ラン1 0.9687 3.0943
ラン2 0.7380 3.0453
ラン3 0.7248 3.0565
中央分離帯 0.7380 3.0565
出力サイズ、バイト 604,820 601,282-608,611
出力持続時間 12.00秒 12.00秒

このテストの中央値速度比は4.14でした。ネイティブタイミングには新しいワーカーの作成と出力バッファの生成が含まれます。FFmpegタイミングには、入力をファイルシステムにコピーし、エクスポートを実行し、出力バッファを読み取ることが含まれます。同じ初期化されたエンジンが再利用されました。別途測定された初期化は、32,232,419バイトのローカルエンジンのコピーから1.0468秒かかりました。インターネットのダウンロード、アカウントリクエスト、入力生成は除外されます。

これはカメラと映像の画質比較ではなく、小さな合成映像のベンチマークです。ネイティブエンコーダとWebAssemblyエンコーダは異なるレート制御実装を使用しています。FFmpeg最大レートとバッファサイズの設定も受け取っています。似たファイルサイズでも同じ画質を保証するわけではありません。PSNR、SSIM、VMAF、ピークメモリやバッテリーの測定は行われませんでした。

生のベンチマークデータを読んでください.その 複製スクリプト 入力を生成し、両方の経路を3回実行します。ネイティブVP8エンコーディングに対応したデバイスが必要です。

const {runVideoBenchmark} = await import('/video-tools/benchmark.mjs');
const results = await runVideoBenchmark();
console.log(results);

統合テストブラウザは製品ポリシーにより一部の音声コーデックを無効化します。これらのタイミング測定は音声トラックを使わずに映像を使用します。実際のデバイスオーディオ互換性とモバイルの熱挙動は別々にテストが必要です。ハードウェアアクセラレーションは独立して検証されていません。

フォールバックの仕組み

リードコンテナ

→

コーデックの検証

→

復号と変換

→

エンコードと多解形

WebCodecsは解雇可能なワーカーで動作します。エンコード前にトリミング、拡大縮小、フレームレートの補正を行い、結果を要求されたコンテナにマルチプレクシングします。正確なトリムが求められない場合、再エンコードなしで対応音声をコピーします。ネイティブのエクスポートを成功させるために、音声トラックを静かに省略することは決してありません。

デコード、エンコード、多工がサポートされていないか失敗した場合、同じユーザー設定で元のFFmpegエクスポートを試みます。キャンセルすると現在のワーカーが終了し、古い結果がダウンロードになるのを防ぎます。

現在、当社のネイティブルートはMP4、MOV、MKV、WebMのビデオエクスポートに加え、WAV、AAC、M4A、Oggの音声抽出に対応しています。AVI、WMV、OGV、3GP、MP3、FLAC、そしてオリジナルエンコーディングモードはFFmpegルート上に残っています。入手可能かどうかは、ソースコーデックやデバイスによって異なります。

正しいルートの選択

一般的な動画ファイルについては、試してみてください ビデオコンバーター または ビデオコンプレッサー.ネイティブコーデックは、デバイスがジョブをサポートする場合、WebAssemblyエンジン全体のダウンロードを避けます。使用方法 ビデオトリマー 正確な切断および ビデオクロッパー フレーミングの変更について。

元のエンコーディングは別の最適化で、パケットをコピーすることで再エンコードを完全に回避できますが、カットが近くのキーフレームに続くことがあり、宛先コンテナは元のコーデックをサポートしなければなりません。完全なトランスコードと比較すべきではありません。両者が同じ仕事をしているかのように。

特にモバイルでは、エクスポート時はページを前景に出してください。電話をロックしたり、スイッチオフしたりすると処理が停止されることがあります。解像度が低く、クリップが短い場合は、どちらのルートでもメモリへの負担を軽減できます。

参考文献

Mediatavioを探求

ビデオ変換 / ビデオ圧縮 / 音声抽出 / Mediatavioについて

Mediatavioの音声・映像ツール

Mediatavio音声・映像ツール。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?