＄1-2「Ovrvision Pro（ステレオカメラ）とHMDを使ってMRアプリ開発する」【ヘッドマウントディスプレイとUnityでVRとかMRの開発をやってみる．】

VRの開発をしていく中で折角ならMRも並行して開発しようと思い，高画質なステレオカメラであるOvrvision Proを触りながらメモしていきます．2021年6月現在の最新版を手探りで開発しているので間違い等があるかもしれませんが解説というよりメモ書きを読む感じでお願いします．
Ovrvision ProのSDKとの互換性の関係でUnityのバージョンはVIVE Pro Eye解説記事の2020と違って2019.4.27f1を使っています．SteamVR Plugin（OpenVR）のセットアップ手順が少し違うだけで解説記事のスクリプトとかはそのまま使えます．この記事も2020と2019のスクリーンショットが混じっていますが2020だとクロマキー等の一部機能が使えません．

環境一覧
SteamVR 1.16.10
Unity 2019.4.27f1 or 2020.1.17f1（動作確認済み，非対応なSDKあり）

SteamVR Plugin 2.7.3
Vive SRanipalRuntime Plugin 1.3.2.0

追加アクセサリー
VIVEトラッカー2018
Ovrvision Pro（ステレオカメラ）
Leap Motion

使用PCスペック
インテル® Core™ i7-7700K
NVIDIA GeForce GTX 1070

• 環境作成編

#1 Unityのセットアップをする　2021年 1月更新

#2 プロジェクトを作ってみる　2021年 1月更新

#3-α Unity2019でVR開発のための環境を整える（SteamVR Plugin2.7.Xをインストールする）：推奨　2021年 6月更新

#3-β Unity2020でVR開発のための環境を整える（SteamVR Plugin2.7.Xをインストールする）　2021年 5月更新

#3-おまけ UnityでVR開発のための環境を整える（SteamVR Pluginの最新版をインストールする）：非推奨　2021年 2月更新

#4 SteamVRのダウングレードと自動アップデートの停止（上級者向け）　2021年 5月更新

• コントローラの入力やトラッカー，HMDの位置座標，回転座標を得る＋α

#5 VIVEコントローラのボタン入力を取得する　2021年 2月更新

#6 トリガーの押し具合やトラックパッドの位置情報の入力を取得する　2021年 2月更新

#6-おまけ VIVEコントローラを使った開発をする時のおすすめ設定（独断と偏見）　2021年 5月更新

#7 ヘッドマウントディスプレイとコントローラの位置座標と回転を取得する　2021年 2月更新

#8 VIVEトラッカー2018を有効化してUnity上で位置座標と回転を取得　2021年 5月更新

#9 VIVEコントローラの振動機能を開発してみる　2021年 4月更新

• VIVE Pro Eyeのアイトラッキングを使ってみる

#10 VIVE Pro Eyeの視線トラッキングを有効化（セットアップ）する　2021年 4月更新

#11 VIVE Pro Eyeのアイトラッキングを使ってUnity上で瞬きや視線のデータを取得する　2021年 4月更新

#11-おまけ VIVE Pro Eyeのアイトラッキングで計測できるデータについて（適宜更新）　2021年 4月更新

• VIVE Pro Eyeのカメラを使ってみる

#12 VIVE Pro Eyeのフロントカメラの解像度（性能）とAR機能を有効化について　2021年 5月更新

• 小技

プレイエリアの境界線（シャペロン境界）が表示されないように設定を変更する　2021年 6月更新

Unity上でカメラを複数台追加してHMDやコントローラの動きを見る　2021年 6月更新

• Ovrvision Pro（ステレオカメラ）を使ってAR開発してみる

＄1-1 Ovrvision Pro（ステレオカメラ）のセットアップをして実際に動かしてみる　2021年 6月更新

＄1-2 Ovrvision Pro（ステレオカメラ）とHMDを使ってARアプリ開発する（この記事）　2021年 6月更新

• Leap Motionを使ってハンドトラッキングしてみる

＄2-1 Leap Motion（ハンドトラッキング）のセットアップをして実際に動かしてみる　2021年 6月更新

＄2-2 Leap Motion（ハンドトラッキング）とHMDを使ったインタラクティブなアプリ開発する　2021年 6月更新

• アプリを作ってみる

  VR（仮想空間）上に曲面ディスプレイを作成して大画面で広角WEBカメラ映像を見る　2021年 5月更新

今回の記事では，

1．Ovrvision Proの開発環境を整える．
2．Ovrvision ProとSteamVR Pluginを連携させてVIVEコントローラー（VRコントローラー）を表示する．
3．クロマキー設定を有効にする．

という流れ．

#1．Ovrvision Proの動作確認をしてみる．

前回同様Unity2019.4.27f1でプロジェクトを作成し，Edit→Project Settingsを開きます．

Project Settingsタブが開いたらXR Plugin Managementの項目を開き，"Install XR Plugin Management"を押して設定をインストールします．

インストールが完了すると，各VR環境を有効にするか聞かれますが今回はOpenVRでの開発なのでチェックマークは入れなくていいです．

Project Settingsタブ内のPlayerの項目を開き，Virtual Reality Supportedの項目にチェックマークを入れます．

色々聞かれるのでとりあえずOKしとく．

確認ダイアログもOK．

一回目は色々聞かれるだけでチェックマークが有効にならないのでしっかりとチェックマークが入っていることを確認する．

このままだとSDKが１つも入っていない状態なので，Virtual Reality SDKsのリスト右下のプラスボタンからSDKの追加を行う．

今回はVIVEを使っているのでOpenVRを追加する．

リストにOpenVRが追加されている状態になっていればOk．

Assets→Import Package→Custom Packageを押します．

前回ダウンロードした"\ovrvision\ovrvisionprosdk_unity\ovrvisionprosdk_unity/unity2019_ovrvision.unitypackage"を開きます．

何を入れるのか聞かれるのでデフォルト設定のまま"Import"を押します．

シーンを新規作成し，OvrvisionのSDKを入れた際に追加されたOvrvisionProタブから"OvrvisionPro→Add OvrvisionProCamera"を押します．

MainCameraをシーン残したままにしているとMainCaemra無効化するか聞かれるので無効化しちゃいます．

設定を最適化するか聞かれるのでとりあえずAccept Allしとく．

とても良い選択だねと褒められる．

同様にOvrvisionProタブから"OvrvisionPro→Add OvrvisionARTracker"を追加します．

これでサンプルと同様に動くようになります．

#2．Ovrvision ProとSteamVR Pluginを連携させてVIVEコントローラー（VRコントローラー）を表示する．

VIVEコントローラ等を表示させるためにAssets→Import Package→Custom PackageからSteamVR Pluginを追加します．この手順をさきにやるとSteamVR内のOpevVRとは相性が悪いのかうまく動かないことがあるので先に設定からOpenVRを有効にした状態で入れてください．

コントローラを追加するためにSteamVR/Prefabsフォルダ内にある[CameraRig]を追加します．

[CameraRig]の中にあるカメラが邪魔なのでコントローラだけ抜き出したいですが，コントローラはカメラとセットになっていて移動できないので"Controller (left)"と"Controller (Right)"をそれぞれコピーして外側でペーストすることで抜き出します．

両方のコントローラを抜き出したら[CameraRig]を削除して，コントローラだけ残します．

この状態で実行すると，Ovrvision Proの映像内にVIVEコントローラを表示することができます．

#3．クロマキー設定を有効にする．

Ovrvision Proはデフォルトの設定だと3Dオブジェクトがすべて前面に出てしまいます．これだと違和感があるので，色によって範囲を指定して制御します．

[OvrvisionProCamera]を選択し，Camera OverlaytaタブからHand Mask Shaderを選択します．

デフォルトの設定のまま動かすとこんな感じです．あまり綺麗に手を抜けなかったのでパラメータは部屋の明るさなどの環境によって調整しないといけないですね...