Eclipsa Audioについて調べた

はじめに

SamsungとGoogle、YouTubeでも使える空間オーディオ「Eclipsa Audio」発表

Dolby Atmosに対抗するオープンソース規格

というニュースがあり、Youtubeで空間オーディオが再生できるとなれば、一般への空間オーディオの普及が進むのでは？という興味と、DolbyAtomsのような既存の技術との競争・分断を招くのかという興味から、「Eclipsa Audio」について調べてみたものです。

Eclipsaは、SamsungがGoogleと提携して開発した新しい3Dオーディオテクノロジーであり、現在定評のあるドルビーアトモスとDTS:Xの3次元オーディオフォーマットにいくつかの競争を提供するための協調入札のように見えます。

これら2つのライバルと同様に、Eclipsa Audioは、スピーカーの位置から直接来ているように聞こえる効果の「古い」アプローチに固執するのではなく、リスナーの周りにエフェクトが配置される3次元サウンドスペースを作成しようとしています。より具体的には、Eclipsa Audioの場合、それ（そして私が引用します）は、「クリエイターが空間反射とともに音の位置や強度などのオーディオデータを調整して、没入感のある3次元サウンド体験を作り出すことができます」。

報道内容のまとめ

・2025年1月3日、韓国Samsung Electronicsが、米Googleと共同開発した空間オーディオ技術「Eclipsa Audio」を発表した。
・Eclipsa Audioを使用すると、クリエイターは空間反射とともに、音の位置や強度などのオーディオデータを調整して、没入型の3次元サウンド体験を作成できる。
・2025年、クリエイターはEclipsa Audioトラックを含むビデオをYouTubeにアップロードできるようになる。
・2025年のSamsung Electronicsのテレビ全機種やサウンドバーにEclipsa Audioを搭載する予定。これら製品で、Eclipsa Audioトラックを含むYouTube動画を視聴できるようになる。
・ChromeブラウザがEclipsa Audioをサポートする可能性がある。
・SamsungとGoogleは、電気通信技術協会（TTA）と協力して、Eclipsa Audio採用端末の認証プログラムを策定している。TTAとの協力により、厳格な認証プログラムを確立する予定。
・Eclipsa Audioはオープンソース。Eclipsa Audioは「作成から配信、再生まで、3Dオーディオのための完全なオープンソースフレームワーク」を提供する。従来のプロプライエタリなDolbyAtmos規格が主流の空間オーディオ市場に、オープンソースの選択肢を提供するものであり、Dolby Atmosの無料代替手段として機能する可能性がある。
・Eclipsa Audioは2023年の発表当時は「IAMF（Immersive Audio Model and Formats）」というテクニカルな名称だったが、コンシューマ向けに「Eclipsa Audio」とリブランディングされたものである。

・なおSamsungは映像のHDRについてもドルビービジョンHDRをサポートしておらず、代わりにHDR10 Plusを選択している。

参考；↓2022年9月の参考記事

・今週から始まるCES 2025で、Eclipsa Audioについてより詳細な情報が期待される。

IAMF仕様

関連記事

IAMF仕様は、2015年からロイヤリティフリーのコーデックサポートを推進しており、SamsungやGoogleとともにAmazon、Apple、Microsoft、Netflixなどの企業をメンバーに数えているグループであるAlliance for Open Mediaによっても採用されています。このオーディオフォーマットのサポートも追加すれば、AV1ビデオコーデックがより多く使用されるまでにはすでに何年もかかっていますが、それはキャッチするのに役立ちます。

何社の映画スタジオや制作会社が Eclipsa Audio を支援しているかは不明です。ただし、IAMF は、Amazon、AMD、Arm、Apple、Google、Huawei、Intel、LG、Meta、Microsoft、Netflix、Nvidia、OPPO、Snap、Tencent、Vivo、WD、Zoom を含むいくつかのブランドによって支援されています。

参考↓2024年1月の記事

CES 2024で、GoogleとSamsungは、ドルビーアトモスのロイヤリティフリーの代替品を作成するための作業に関する最新情報を提供し、2024年にテレビやYouTubeなどに展開すると述べました。20232023年後半、GoogleとSamsungは、ドルビーアトモスとDTS:Xに匹敵する新しいオープンソースの空間オーディオテクノロジーであるIAMF（Immersive Audio Model and Formats）について公然と話し始めました。IAMFは、ドルビーのHDRビデオフォーマットであるドルビービジョンに匹敵するHDR10+ビデオフォーマットに相当するオーディオと考えてください。

サムスン自身の言葉を借りれば：
1.音を垂直に表現する能力以前のオープンソースのオーディオコーデックは、水平方向のサウンド表現のみをサポートしていました。IAMFテクノロジーにより、オーディオを垂直に表現できるため、サウンドはますます多方向になります。以前のオープンソースのオーディオコーデックは、水平方向のサウンド表現のみをサポートしていました。IAMFテクノロジーにより、オーディオを垂直に表現できるため、サウンドはますます多方向になります。
2.AIベースのシーン分析と3DオーディオエフェクトIAMFは、AIとディープラーニング技術を利用してシーンを分析し、コンテンツの特定の側面を強調します。視聴体験全体を通して、より強化されたサウンドのためにオーディオレベルを調整します。IAMFは、AIとディープラーニング技術を利用してシーンを分析し、コンテンツの特定の側面を強調します。視聴体験全体を通して、より強化されたサウンドのためにオーディオレベルを調整します。さらに、IAMFテクノロジーは、デバイス環境の変化にもかかわらず、最適なサウンドを提供します。さらに、IAMFテクノロジーは、デバイス環境の変化にもかかわらず、最適なサウンドを提供します。
3.高度にカスタマイズされたオーディオユーザーは、IAMFテクノロジーを使用して、好みに応じて自由にサウンドを調整できます。視聴者がアクションシーンの効果音を増幅したい場合でも、対話を強化したい場合でも、IAMFは、よりパーソナライズされたエクスペリエンスのためにコンテンツオーディオをカスタマイズする柔軟性を提供します。

Alliance for Open Media

メンバー

• Steering Committee members
  Amazon, Apple, Cisco, Google, Intel, Meta, Microsoft, Mozilla, Netflix, nVidia, Samsung, Tencent

• Promoter Members
  Adobe, Allegro, AMD, Amlogic, ARM, Ateme, Bili Bili, Bitmovin, BLUEDOT Bloomberg, Broadcom, Chips & Media, Friedrich-Alexander University, HDR Nova Limited, Ittiam, LG Electronics, NETINT, Institute of Wireless, Northeastern University’s Institute of Wireless Internet of Things, OPPO, Realtek, Roku, Snap Inc., Synamedia, THX, Trinity College Dublin, Université de Poitiers XLIM Institute, VeriSilicon, VLC, Vimeo, Visionular, VLITT, Zoom

私見：
　Dolbyはメンバーではない様子。Alliance for Open MediaのメンバーがEclipsa Audioに総力で取り組めれば、コンテンツ配信からブラウザやメディアプレーヤでの再生、グラボやSoCでのハードウェア支援や出力(HDMI)まで、対応できる面々。Zoom会議も空間オーディオに？などの妄想が。

IAMFって何？

IAMFとは何ですか？

IAMF（Immersive Audio Model & Format）は、ストリーミング、ゲーム、拡張現実（AR）、仮想現実（VR）、従来の放送など、幅広いアプリケーションで没入型オーディオ体験に革命を起こすように設計されたオーディオコンテナ仕様です。IAMFは、クリエイターとプラットフォームが、ヘッドフォン、マルチスピーカーセットアップ、VRシステムなどのさまざまな再生環境に適応し、効率的なエンコーディングと柔軟なレンダリングで高品質で没入型オーディオを提供できるようにします。コーデックに依存しないため、IAMFは再生時間レンダリングアルゴリズムとオーディオミキシングに関する情報を運ぶことができ、さまざまなユースケースに非常に汎用性があります。テスト ストリームを備えた IAMF のオープンソース リファレンス ソフトウェア デコーダーは、AOMedia の GitHub ですぐにアクセスできます。

IAMFは、スピーカーレイアウトやヘッドフォンで再生するためのEARやBEARなどの信号レンダリングアルゴリズムの手段を提供します。マルチスピーカーレイアウトとバイノーラルモニタリング用のIAMFガイドライン準拠のレンダラーを含むEAR Production Suiteなどの既存のオープンソースプラグインのおかげで、クリエイターは没入型オーディオコンテンツの作成とサウンドミキシングに飛び込むことができます。

デモサイト

これは、WebAssemblyにコンパイルされたlibiamfデコーダーのデモであり、ブラウザでIAMFをデコードしています。
空間的、バイノーラルオーディオ体験を得て、音の方向を聞くには、ヘッドフォンと、headphones_rendering_modeがHEADPHONES_RENDERING_MODE_BINAURALに設定されているIAMFファイルの両方を使用する必要があります。

私見：デモを再生すると、確かに空間的広がりがあるように感じられました。

デコーダ１　コード

これは、AOMイマーシブオーディオモデルとフォーマット（IAMF）仕様の参照実装と適合性テストであり、2024年10月24日にAOMによって最終成果物として承認されました。参照実装には、デコーダーのみが含まれています。各フォルダの説明は次のとおりです。
・「code」ディレクトリには、AOM IAMF v1.1.0の参照デコーダが含まれています。
・「proto」および「test」ディレクトリには、適合性テスト用のテストベクトルとテスト説明メタデータが含まれています。

RafaSlothさんのIAMFチュートリアルビデオ

私見：私のMacでは、依存関係が解決できず、ビルドできなかった。

デコーダ２　コード　Samsung

Macだと以下エラーとなってコンパイルできなかった。sys/uio.hに書き換えると別の８つのエラーが出てコンパイルが通らなかった。
vlogging_tool_sr.c:38:10: fatal error: 'io.h' file not found 38 | #include

エンコーダ　コード

なるほど。ADM-BWFからIAMFは生成できるようだ。

iamf-toolsのビルド手順

以下の手順でMacではビルドできた。

Macの場合のエンコーダのビルド手順

brew install bazel
bazel build -c opt //iamf/cli:encoder_main 

Macの場合のテストのビルド手順

bazel test -c opt //iamf/...

Sound System H (9+10+3) ITU-2051-3 FL, FR, FC, LFE1, BL, BR, FLc, FRc, BC, LFE2, SiL, SiR, TpFL, TpFR, TpFC, TpC, TpBL, TpBR, TpSiL, TpSiR, TpBC, BtFC, BtFL, BtFR

おお。

FFmpeg対応

FFmpeg 7.0では「libavformat」にIAMFの読み書き機能が追加されました。

2023年12月18日、IAMFサポート
Libavformat ライブラリは、IAMF (Immersive Audio) ファイルを読み書きできるようになりました。Ffmpeg CLI ツールは、新しい -stream_group オプションを使用して IAMF 構造を構成できます。IAMFサポートはJames Almerによって書かれました。

クリエイターフレンドリー：クリエイターは、IAMF仕様ガイドラインに準拠した、マルチスピーカーレイアウトとバイノーラルモニタリング用のレンダラーを含むEAR Production Suiteなどの既存のオープンソースプラグインを使用して、IAMF準拠の没入型オーディオコンテンツの作成に飛び込むことができます。IAMFは、複数のオーディオミックス構成を運び、含める機能により、作成者とユーザーがさまざまな再生設定に合わせて音量を制御できます。近い将来、AOMediaオープンソースリファレンスソフトウェアは、さまざまなサウンドミックスをIAMFに圧縮するためのIAMFエンコーディングツールを追加します。

Immersive Audio Model and Formats v1.1.0 仕様

Editors:
SungHee Hwang (Samsung)
Felicia Lim (Google)

著者はSamsungとGoogleに所属の方。

ライセンス

ソフトウェアについては　BSD 3-Clause Clear License, Alliance for Open Media Patent License 1.0, AOM Statement relating to AOM Patent License 1.0

ベッドベース、オブジェクトベース、アンビソニックの全てに対応している模様。後発だけあって全部盛りか。

3Dオーディオ信号という用語は、アンビソニック（シーンベースのオーディオ）、オブジェクトベースのオーディオ、チャンネルベースのオーディオ（例：3.1.2chまたは7.1.4ch）などの従来のステレオまたはサラウンドサウンド形式を超える追加情報を取り入れたサウンドの表現を意味します。

チャネルという用語は、シーンベースのオーディオのコンポーネント、オブジェクトベースのオーディオのコンポーネント、またはチャネルベースのオーディオのコンポーネントを意味します。チャンネルベースのオーディオのコンテキストで使用する場合、スピーカーベースのチャンネルを指します。

没入型オーディオ（IA）という用語は、自然環境に近いサウンド体験を再現する3Dオーディオ信号の組み合わせを意味します。

Android

デコーダ拡張機能（FFmpeg、VP9、AV1 など）:
IAMF デコーダ モジュールを追加します。このモジュールは、libiamf ネイティブ ライブラリを使用して IAMF トラックを含む MP4 ファイルの再生をサポートし、音声を合成します。
再生はステレオ レイアウトで有効になり、空間化とヘッド トラッキング（オプション）を有効にした 5.1 でも有効になりますが、現在のところバイノーラル再生はサポートされていません。

まとめ

近年、DAWのDolbyAtoms対応が進み、AppleMusicのDolbyAtoms対応もあり、空間オーディオへの注目が集まる中、これに対抗するオープンな技術としてEclipsa Audioがどこまで浸透するのか、特にYoutubeへの対応での映像との連携での空間オーディオに期待が高まる。DAWのプラグインあるいはDAW自体の対応が待たれ、音楽配信業者がどこまで対応してくれるか、数年後に、どのような勢力図になっているのか、興味深い。

なお、Macでデコーダのlibiamfのコンパイルを試みようとしたが、依存関係のあるライブラリの準備のあたりで手こずっています。できましたら記事を更新したいです。