はじめに

XREAL Air2 Ultra & Beam ProでのMRアプリ開発について解説します。
PICO4/4U、Vive Focus Vision、Meta Quest、Apple Vision Pro に続いての記事になります。

XREAL SDKは3.0からUnityの XR subsystem を活用する形になりました。
開発者は以下の機能を通してインタラクションやAR機能を利用できます。

XR Interaction Toolkit
AR Foundation

開発環境

Unity 6000.0.48f1
XREAL SDK for Unity 3.0.0
XR Interaction Toolkit 3.2.0

XR Interaction Toolkitのセットアップまで

こちらの記事に従ってXR Interaction Toolkitをセットアップしてください。

XREAL SDK for Unityインストール

SDKダウンロードページから Downloadボタンを押してSDKをダウンロードします。
https://developer.xreal.com/download

Unity Package ManagerでSDKをインポートします。
install package from tarball..を選択し、ダウンロードしたcom.xreal.xr.tar.gz ファイルを選択してください。

Projectをセットアップする

公式ページに従ってUnity Projectをセットアップします。

Project ValidationでFix All

Project Settingsにて、以下の通り設定します。

設定	値
Player Settings > Resolution and Presentation > Default Orientation	Portrait
Player Settings > Other Settings > Auto Graphics API	false
Player Settings > Other Settings > Graphics APIs	OpenGL ES3
Player Settings > Other Settings > Minimum API Level	Android 10.0 or higher
Player Settings > Other Settings > Target API Level	Automatic (highest installed)
Player Settings > Other Settings > Write Permission	External(SDCard)
Project Settings > Quality > VSync Count	Don't Sync

HandTrackingに対応する

Project Settings > XR Plug-in Mangement > XERAL > Initial Input Sourceで以下の中からHandsを選択します。

None: 入力を使用しない
Controller: スマートフォンまたはBeam Proをコントローラーとして使う
Hands: ハンドトラッキング利用
Controller And Hands: コントローラーとハンドトラッキング両対応
XREAL Air2 Ultra & Beam Proの場合、右がコントローラー、左がハンドトラッキングになりました。

ここまでの設定でビルドして実機で試すとハンドトラッキングが出来ます。
人差し指で選択も出来るのですが、Grabが機能しません。

ここからは公式に書かれていない内容です。
動作する事は確認していますが、正しい方法ではなかったり、機能として不十分な可能性がありますので、ご了承ください。

Input ActionsにXREAL用の設定を追加する

直接Grab対応

XR OriginのInput Action Managerが参照している、XRI Default Input Actionsを開きます。

Action MapsのXRI Left Interactionを選択し、ActionsのSelectに[+]ボタンでBindingを追加します。
Bindingは indexPress [LeftHand XREAL Hand Tracking]
InteractionsにPressを追加します。

RayでのGrab対応

Action MapsのXRI Leftを選択し、ActionsのSelectに[+]ボタンでBindingを追加します。
Bindingは pointerPosition [LeftHand XREAL Hand Tracking]です。

右手も同様に対応してください。

設定が終わったら、忘れずにSave Assetしましょう。

ビルドして実機で確認する

ビルドして動作確認しましょう。
PCとXREAL Beam ProをUSBケーブルで接続します。
Beam ProのUSBポートはグラスを接続する側なので、一度グラスを外す必要があります。毎回グラスを外すのは面倒なので、adbをWiFi経由で利用するのがおすすめです。

Build & RunでBeam Proにインストールします。
アプリの起動はXREALグラスでの操作になります。

トラブルシューティング

アプリが起動しない

Support Multi Resume設定がONになっている場合、初回起動時に許可を求められます。
なかなかアプリが起動しないなと思ったら、Beam Proの画面を確認してください。

コンテンツの位置が高い時

XR OriginのTracking Origin ModeをFloorにしても、
XREALは他のXRデバイスのように床からの高さを自動で取得してくれません。
XR Origin > Camera OffsetのY座標を1.5などに調整して固定の高さで設定してください。

おわりに

お疲れ様でした。設定は以上になります。

XREALはApple Vision Proと同じくOpen XRに対応していません。
そのためかGrabについては独自の対応が必要でした。
この辺りも必要なものとそうでないものがある理由はよく分かっていないので調べてみたいと思います。

XR Interaction Toolkitに対応された事で、デバイスを通じて同様の実装方法でコンテンツを作ることが出来るメリットは大きいと思います。

今回解説したセットアップ済みUnity ProjectはGitHubで公開しますので、自由にご利用ください。
https://github.com/afjk/XREAL-MR-Unity-Template

XREAL SDKはご自身でダウンロードしてインポートしていただく必要があります
サンプルのHands Interaction Demoのインポートとセットアップは記事に沿ってご自身で設定してください

XRアプリ開発に少しでもお役に立てれば幸いです。

参考

追記

XREALにはMRTK3のサンプルもあります。
Unity Projectやビルド済みapkも公開・配布されていますので参考にしてみてください。
https://docs.xreal.com/MRTK3_Integration