jpeg
コーデック
jpeg-xs

JPEG XSコーデックメモ

JPEG XS

https://jpeg.org/jpegxs/

低レイテンシ(low-latency)で計算コストの小さい(lightweight)、視覚的ロスレス(visually lossless)品質のデジタル静止画像圧縮技術(コーデック)。

特徴と応用先

JPEG XSコーデックの特徴は下記の通り:

  • 最大解像度: 8K
  • フレームレート: 24 ~ 120fps
  • 色空間: RGB, YCbCr(YUV)系
  • 品質劣化の小さい視覚的ロスレス
    • 圧縮率 1/2 ~ 1/6 で7回の反復エンコード後 [IIS-INTRO]
  • 軽量な画像処理のため低消費電力
  • 低レイテンシなエンコード/デコード処理
    • 処理レイテンシ=32ライン未満 [IIS-INTRO]
  • 比較的簡易なアルゴリズムのため実装が容易
    • 小さなASIC/FPGAハードウェア実装面積
    • SIMD命令やGPU利用による高速なソフトウェア実装

JPEG XSコーデックは、低計算量・低レイテンシが要求されるアプリケーションにおいて、主に「Mezzanine(舞台下の)コーデック」としての利用が期待されている。

  • ライブ・プロダクション
  • 放送・デジタルシネマ ワークフロー
  • プロ向け映像市場
  • KVM1アプリケーション
  • VRゲーム など

JPEG XSは何ではないか

JPEG XSは、従来の(無印)JPEG, JPEG2000, JPEG XR, WebP, HEIFといった大量データ保存・WEB配信向けコーデックを 置き換える技術ではない

JPEG XSのゴールは「少ない計算機資源・低消費電力でも動作する」「コーデック遅延が極小」「ほとんど画品質劣化を生じない」であり、データ削減性能は 1/2~1/6程度 がメインターゲットとなっている。古典的な(無印)JPEGでも1/10程度にデータ削減されるため、JPEG XSは データサイズ削減が重要なユースケースには不適切 である。

VR/AR, ストリーミング 向け?

一部記事(engadget)では “ストリーミング向け” のように紹介されているが、ここでいうストリーミングはインターネットのようなベストエフォート型公衆回線ではなく、映像伝送ケーブル(HD-SDI, DisplayPort, etc.)、ローカルEthernet網~閉域網、5G通信といった高速広帯域ネットワーク上での映像ストリーミングを意図すると思われる。“VR/AR” といった応用も、ケーブル/無線を介したPCからヘッドマウントディスプレイ(HMD)デバイスへの映像伝送を低遅延・高画質に行うことが目的と解釈できる。

(記事タイトルが煽り気味なのはマスメディアの常ですよね...)

符号化スキーム

blockdiagram.png
(参考文献[IIS-INTRO]より引用)

decodingoverview.png
(ISO/IEC 21122-1 N77026(CD)より引用)

  • 色変換(JPEG2000の可逆変換と同じ)
  • Wavelet変換(JPEG2000の5/3フィルタ; 垂直2段/水平5段までのサブバンド分割)
  • 量子化/逆量子化
  • エントロピ符号化

参考情報


  1. KVM = Keyboard, Video and Mouse