概要

Unityで360度動画を再生するとき、4Kの解像度を境界として、動画コンテナに工夫が必要でした。

360度動画をUnity上で再生するための操作は、公式ドキュメントに手順が掲載されていますが、Unityにインポートするまでの工夫や、そうせざるを得ない背景事情を取り扱います。

2023年追記：
VR180フォーマットでも再生できたので、手順を追加。Apple Visionで取り上げられていたので、VR180の方が主流になる予感。
Vive Pro Eye程度だとそこまで解像感が良くないのですが、最近のHMDだと8Kぐらいの解像度は必要だと実感してます。HMDで片目4Kのパネルが主流になれば、12Kぐらい欲しくなる予感。H.266/VVCに期待。

2024年追記：
表「元ファイルの動画」の表記ミスを修正。180/360度動画と2D/3Dを混同を修正。
動画形式など、記事作成当時の誤った知識に基づく情報を修正。
表現の修正。

環境

ソフトウェア

Windows 10
Unity 2019.4.x, 2022.3.34
SteamVR
HTC Vive, Vive Pro Eye

ハードウェア 1 (2020年時点)

Intel Core i7 10700
NVIDIA RTX 2070 Super
DDR4 32GB

ハードウェア 2 (2023年追記)

AMD Ryzen 9 7950X
NVIDIA RTX 3090
DDR5 64GB

カメラ

Insta360 Pro 2 (360度カメラ)
EOS R5C + RF 5.2mm F2.8 (2023年追記, VR180対応)

背景

一般的にUnityに動画をインポートする際には、H.264 (typically in a .mp4, .m4v, or .mov format)を選択するが一般的です。H.264は4K解像度までの対応が標準で、それを超える解像度はH.265を使用する必要があります。
一方で、H.264でもソフト（EOS VR Utilityなど）によっては、8K解像度で書き出せることもあり、VLCやMPCで再生できてしまいます。ですが、Unityでは正しく再生されません。本来、8KはH.264で想定されてないはずなので、H.265の動画を作成した方が望ましいです。

H.264の次世代規格であるH.265は、8K解像度を標準で扱えます。UnityでもUnity 2019.1からH.265をサポートしています。

Unityにインポートするまで

H.265形式の動画ファイルを作成
HEVC ビデオ拡張機能の導入（120円）
Unityにインポート

1. H.265形式の動画ファイルを作成

お好みのエンコーダーや編集ソフト、各種ツールより、動画をH.265形式でエンコードして書き出します。H.265形式でのCPUエンコードは時間がかかるため、Intel QSVやNVIDIA NVENCやAMD VCEのような、GPUを活用したハードウェアエンコードあるいは、GPU支援を活用することで、高速化できます。
エンコードについては、私はいつもこちらの方のブログを参考にしています。

元ファイルの動画(Insta360 Pro 2撮って出しを付属ソフトでスティッチした直後の状態)

解像度・フレームレート	フォーマット	2D, 3D	プロファイル	Chroma Subsampling	Bit depth	ビットレート(参考程度)
8K30p(7680x3840, 29.97fps)	360度	単眼視	Main@L6.1@High	4:2:0	8bit	約150Mbps
8K30p(7680x7680, 29.97fps)	360度	両眼立体視	Main@L6.2@High	4:2:0	8bit	約300Mbps

元ファイルの動画(EOS R5C + RF 5.2mm F2.8の撮って出しをEOS VR Utilityで書き出した状態)

解像度・フレームレート	フォーマット	2D, 3D	プロファイル	Chroma Subsampling	Bit depth	ビットレート(参考程度)
8K30p(8192x4096, 29.97fps)	VR180	両眼立体視	L6.1@High	4:2:2	10bit	約200Mbps
8K30p(8192x4096, 29.97fps)	VR180	両眼立体視	L6.1@High	4:4:4	10bit	約800Mbps

動画ファイルの軽量化

上記の表について、Chroma Subsamplingが4:2:2や4:2:2、Bit depthが10bitで作成されている動画は、Microsoft Media FoundationやDXVAでのデコード処理に問題があるのか、一般的な動画再生ソフトや、後の行程でのUnityで、正しく再生できないことがあります。

この4:2:2や10bitは、プロダクションや編集のための、より高度なフォーマットです。これは、カメラでの撮影時に最大限データを確保し、編集耐性を持たせるために使用されるものです。

そのため、FFpmegやXMedia Recodeなどでエンコード、あるいは編集ソフトで編集や調整を終わらせ、再生に適したファイルへの書き出しを行います。VR180動画の場合、解像度やフレームレートはそのままに、Main@L6.1とし、QP18前後の設定で、4:2:0、8bitで書き出せば、Unity環境において、HMDで視聴しても正しく再生できるファイルとなります。

※ 8K動画はLevel 6以上推奨です。

2. HEVC ビデオ拡張機能の導入

現在、VR開発はWindowsの環境下で行われることが大半だと思われます。

Unityは、Unity 2019.1からH.265をサポートしましたが、Windows上で動くUnity
では、動画のインポートと再生にHEVC ビデオ拡張機能を導入する必要があります。

これは、UnityがMicrosoft Media Foundationを利用しているためです。

この拡張機能は実質有償化しましたが、OSレベルでH.265デコード機能が扱えるようになり、UnityでH.265が扱えるほか、エクスプローラのサムネイルでの表示やプレビューに対応します。

3. Unityにインポート

公式ドキュメントに手順が掲載されています。2Dと3Dの双方の手順が記載されています。

2023年追記：以下の手順に示すスクリーンショットで、大体の流れを確認してみてください。

手順0

VR関係の導入。省略。
このプロジェクトは古いので、CameraRigを導入済みですが、最近であれば、XR Interaction ToolkitによるXROriginなどになってます。
また、Unity 2022.3環境のURPでも動作を確認しました。

手順1

RenderTextureは動画の解像度に設定します。
初期設定ではDepthBufferが設定されているので、Unityのリファレンスに従い、No depth bufferに設定します。

手順2

SkyBoxを変更するためのMaterialを作成します。
ShaderをSkybox/Panoramicとし、ImageTypeを動画の種類に合わせて設定します（180/360）。
3D Layoutは両眼立体視動画で必要で、動画に合わせて、上下配置(Over Under)と左右配置(Side by Side)の設定を行います。2Dの場合はNoneです。

対応するRenderTextureをこのMaterialのInspectorにD&Dして、設定します。

VR180動画の場合

360度動画の場合

手順3

Window -> Rendering -> Lighting Settingsから、Skybox Materialを設定します。
手順2で作成したMaterialに変更します。

この時、CameraのClear FlagsがSkyboxになっている必要があります。

手順4

VideoPlayerを配置し、URLやインポートした動画を指定します。
手順1で作成したレンダーテクスチャを、TargetTextureに指定します。
動画によってAspect Ratioを変更してください。

再生

これで大丈夫なはずです。動画やHMDの回転情報により、HMDの視野角外（正面でない）で再生される場合があります。その際は、空の親オブジェクトで調整するなどを行ってくださ。