Graffity でUnityエンジニアをしている cova です。

今回は来たるVisionOS の次期バージョン visionOS2.0 に対応する
Unity 用SDK PolySpatial2.0 が 1.x系から何が良くなってるのかの日本語情報をまとめました。

検証環境

項目	Version
Unity	Unity6000.0.12f1
PolySpatial	2.0-pre11
visionOS	VisionOS2.0-beta6 / VisionOS2.0-beta7
Xcode	16.0 beta 6

せっかちな方へ

Visual 込みで確認したい場合はUnityの限定公開で公開しているPolySpatial の動画をご覧ください

Update内容

現状との差分をわかりやすくするために5つのカテゴリに分けて説明します

visionOS1.0 で機能はあったけど PolySpatial 1.0 で非対応→2.0からできるようになること
PolySpatial2.0 で対応している機能
PolySpatial2.0 で対応予定の機能
執筆時点で visionOS1.0 にはあるがPolySpatial2.0 では対応されない機能
執筆時点で visionOS2.0 にはあるがPolySpatial2.0 では対応されない機能

visionOS1.0 で機能はあったけど PolySpatial 1.0 で非対応→2.0からできるようになること

MultiVolume のサポート
PlayToDevice のAR/MR系コンテンツ対応

MultiVolumeのサポート

SharedSpace での複数表示
Immersive Space でのVolume表示
- AR/MR 空間上でもVolumeを生成できます

共通して言えるのは

Prefab でもSceneのAdditive でもVolumeコンテンツは追加可能
VolumeCameraと描画用のCameraがあれば良いみたい
Gaze&Tapで操作できるのは Defaultレイヤーのオブジェクトのみ
Volume を複数生成するときは描画対象をうまく切り分けないとVolumeAにVolumeBの内容が重なって表示されたりする

PlayToDevice のAR/MR系コンテンツ対応

AR/MR開発者待望の機能です!!

ついに現実空間でスキャンしたMesh情報とかがHierarchyにどんな感じで生成されるのかを
リアルタイムにEditor を見つつ確認できるようになりました。

また今まではImmersive Space アプリはビルドしないと実機確認できませんでしたが
これからはPlayToDevice2.0系を利用することでビルドなしで大部分は確認できるようになるので開発イテレーションがだいぶ早くなると思います。

PolySpatial 2.0 で対応している機能

DynamicLighting
Resizeable Volume
Custom Hover Effect
BlendShape
BillboardComponent
Particle のBakeToTexture
Stereo Render Target

Dynamic Lighting

Light Component によるライティングができるようになりました。

今まではBakeしてないと使えなかったのが動的にライトを動かしても反映できるようになります。

LightComponentとVisionOSLightSettings Componentをアタッチすることで指定のライトが使えます

Resizeable Volume

今までVolumeなアプリはコーナーに視線を持っていくとスケールを変更するUIが表示。
それを選択することでスケールをいじれました。

今回からは VolumeCamera.ScaleWithWindow フラグを設定することでScaleの代わりに
描画範囲の拡大縮小ができるようになります

Custom Hover Effect

このような形で従来はHover時には白くなるだけだったのがある程度色をユーザーで設定できるようになりました。

基本的には従来の VisionOSHoverEffect が改良された形で、ユーザー的にパッと思う「HoverEventがCustomできるようになった！？」ではありません。

あくまでも CustomHover Effect であり CustomHover Event ではないんですよね。

（個人的には OnHoverBegin, OnHoverEnd 的なイベントだけでもとれるようにしてほしいですが。。。）

BlendShape

とくに3Dアバター系コンテンツ開発者には朗報だと思います。
（PolySpatialの開発者からも要望はかなり多く上がっており公式のLoadmapでもVote数は多かった機能です）

シンプルにBlendShape 対応なので一番わかりやすいのは表情変化ですが、Apple 公式のSampleでは植物の成長だったり元気度合いを表現してたりします。

BillboardComponent

Billboard とはUI等が常にカメラの正面になるように回転を自動で設定する演出です

Unityではよくある方法としては Camera.main.transform.rotation の値をUIとかにそのままor前後逆で適応することで、カメラを動かしてもUIが常に正面から見えるようにしたり、背景画像を常に見せる、あとはParticleを表示するときも板ポリゴンとわからないようにBillboardOptionがあったりします。

今回はVisionOSのBillboard 機能のproxyとして VisionOSBillboard コンポーネントが提供されており、開発者側からRotationをいじるみたいな実装はできないようです。

Particle のBakeToTexture

待望of待望な機能だと思います。
1.0系でもParticleは使えましたが BakeToMesh じゃないと正しく表示されませんでした。

また、BakeToMeshにしているせいなのか、半透明を使ったParticleの場合に時折綺麗に表示されないなどの不具合もありました。
また、MeshにBakeすることから、板ポリゴンでなくMeshParticle での実装になるため負荷も重めなことが多かったのも事実です。

今回からはBakeToTexture が使えるようになったことで板ポリゴンをわざわざ用意せず、かつアーティストの意図通りに表示できるようになりました。

Stereo Render Target

TBD

PolySpatial2.0 で対応予定の機能

Mode Switching
Metal を使った描画

Metal 周りの機能は本来は１個上の対応している機能に入る予定でしたが
記事執筆時点ではUI操作ができないなど、開発にクリティカルな問題が発生しているためこちらのカテゴリに入れました

こちらに関しては動かすための設定方法含めて要追加調査という状態です

https://issuetracker.unity3d.com/issues/visionos-ui-in-the-metal-sample-for-apple-vision-pro-does-not-work

執筆時点で visionOS1.0 にはあるがPolySpatial2.0 では対応されない機能

Spatial Audio 全般
Persona

Spatial Audio

これは筆者の予測ですが、PolySpatial側というよりは、Unityが利用しているサウンドエンジンである FMOD 側がVisionPro 向けに機能を提供できていないことに起因すると思われます。
そのため単純に visionOS向けにコンバートするだけじゃなく、FMOD側にも修正リクエストを投げる形になるため難航していると思います。

（サウンドってちょっと変更しただけでバリバリバリみたいな爆音ノイズになりやすいから修正って大変ねんな）

Persona

自分の上半身アバターを相手に表示したり、相手の上半身アバターを自分の環境に表示したりするあれです

ただ、こちらに関してはすんごく頑張ってSwift Pluginを作れば動かすことも可能らしいので
どうしても公式対応が我慢できない場合は自作する道に進むしかないです

執筆時点で visionOS2.0 にはあるがPolySpatial2.0 では対応されない機能

HandTracking の90Hz対応
- VisionOS1.x系だと30Hzでしかトラックしてない
Shader Graph系
- ブラー
- DepthMap のRead/Write
- Back Culling
surroundingseffect
SharePlay

HandTracking の90Hz対応

MR開発者なら喉から手が出るほど欲しい機能ですが現時点では未対応だそうです。

これが導入されれば手のMesh追随とかの速度があがってラグくなくなると思われるのでUX的にも早く欲しいですね

ShaderGraph 系

こちらは Apple のRealityKit 側の問題とmaterialの規格であるMaterialX 側の問題の2種類があるため、対応コストは少し高い状態です。
前者に関してはUnity側が頑張ればいけますが、MaterialXについては規格が対応してくれないと実機で再現不能だったりします（UnityのMaterialPropertyBlockが使えないとかね）

こちらも気長に待つしかないですね

surroundingseffect

パススルー映像に色を乗算できる機能ですが、提供されているAPIが ImmersiveSpaceなViewに対してColor設定イベントを設定するというものになります。

// Apply effect to tint passthrough
struct ImmersiveExplorationView: View {
    var body: some View {
        RealityView { content in
            // ...
        }
        .preferredSurroundingsEffect(surroundingsEffect)
    }

    // The resolved surroundings effect based on tint color
    var surroundingsEffect: SurroundingsEffect? {
        if let color = appModel.tintColor {
            return SurroundingsEffect.colorMultiply(color)
        } else {
            return nil
        }
    }
}

Unity ではViewはUnity側が管理しており、現在のViewに対する操作はRuntimeではできません。
また、VisionOSのビルド時にUnityが管理しているViewのコードが生成されるため、現状では

Unity 側でビルド
生成されたSwift Codeに手を加える
Xcodeでビルド

といった形でNativePluginでも対応できず、ビルド後のSwiftコードに手を入れるしかないです。
そのためUnity側からRuntimeで色を操作することも難しく（もしかしたら色の定義を外だししてそれをNativePluguin経由で書き換え & View側はその値を参照するようにしたらできるかもしれないですが）、現状はアップデート待ちという形になります。

SharePlay

Persona と状況は近いと思います。
一応Photon 等のマルチプレイ用のミドルウェアを用いて、ユーザーの表示位置を予め固定して同期させれば、それっぽいことはできます。

しかし結局のところPersona を表示することが肝になっている機能ではあるので場所の自動同期システムを作っても価値は半分以下といったところでしょう。

こちらもPersona待ちといった状態です

まとめ

今回はPolySpatial1.0→2.0のアップデート周りの情報を日本語化&実際の状況について解説しました。

まだPolySpatial2.0 もpreview版であるため随時情報は更新していきたいと思います。