JPEG XS
低レイテンシ(low-latency)で計算コストの小さい(lightweight)、視覚的ロスレス(visually lossless)品質のデジタル静止画像圧縮技術（コーデック）。
特徴と応用先
JPEG XSコーデックの特徴は下記の通り：
- 最大解像度: 8K
- フレームレート: 24 ～ 120fps
- 色空間: RGB, YCbCr(YUV)系
- 品質劣化の小さい視覚的ロスレス
- 圧縮率 1/2 ～ 1/6 で7回の反復エンコード後 [IIS-INTRO]
- 軽量な画像処理のため低消費電力
- 低レイテンシなエンコード／デコード処理
- 処理レイテンシ＝32ライン未満 [IIS-INTRO]
- 比較的簡易なアルゴリズムのため実装が容易
- 小さなASIC/FPGAハードウェア実装面積
- SIMD命令やGPU利用による高速なソフトウェア実装
JPEG XSコーデックは、低計算量・低レイテンシが要求されるアプリケーションにおいて、主に「Mezzanine(舞台下の)コーデック」としての利用が期待されている。
- ライブ・プロダクション
- 放送・デジタルシネマ ワークフロー
- プロ向け映像市場
- KVM1アプリケーション
- VRゲーム など
JPEG XSは何ではないか
JPEG XSは、従来の(無印)JPEG, JPEG2000, JPEG XR, WebP, HEIFといった大量データ保存・WEB配信向けコーデックを 置き換える技術ではない。
JPEG XSのゴールは「少ない計算機資源・低消費電力でも動作する」「コーデック遅延が極小」「ほとんど画品質劣化を生じない」であり、データ削減性能は 1/2～1/6程度 がメインターゲットとなっている。古典的な(無印)JPEGでも1/10程度にデータ削減されるため、JPEG XSは データサイズ削減が重要なユースケースには不適切 である。
VR/AR, ストリーミング 向け？
一部記事(engadget)では “ストリーミング向け” のように紹介されているが、ここでいうストリーミングはインターネットのようなベストエフォート型公衆回線ではなく、映像伝送ケーブル(HD-SDI, DisplayPort, etc.)、ローカルEthernet網～閉域網、5G通信といった高速広帯域ネットワーク上での映像ストリーミングを意図すると思われる。“VR/AR” といった応用も、ケーブル／無線を介したPCからヘッドマウントディスプレイ(HMD)デバイスへの映像伝送を低遅延・高画質に行うことが目的と解釈できる。
（記事タイトルが煽り気味なのはマスメディアの常ですよね...）
符号化スキーム
（参考文献[IIS-INTRO]より引用）
（ISO/IEC 21122-1 N77026(CD)より引用）
- 色変換（JPEG2000の可逆変換と同じ）
- Wavelet変換（JPEG2000の5/3フィルタ; 垂直2段／水平5段までのサブバンド分割）
- 量子化/逆量子化
- エントロピ符号化
参考情報
- https://www.itscj.ipsj.or.jp/sc29/29w42901.htm#JPEGXS
- Fraunhofer IIS - JPEG XS
- A new JPEG format for virtual reality, drones and self-driving cars
- Introduction to JPEG XS
-
KVM = Keyboard, Video and Mouse ↩