はじめに
VRやAR開発をしていく中でオブジェクトとのやり取りをもっと簡単にできないかと思いまして，研究室に眠っていたLeap Motionを使って色々試作するためのメモ書きです．前回はとりあえず動作確認を行いましたので今回は実際にシーンを作っていきます．
環境一覧
SteamVR 1.16.10
Unity 2019.4.27f1 or 2020.1.17f1（動作確認済み，非対応なSDKあり）
SteamVR Plugin 2.7.3
Vive SRanipalRuntime Plugin 1.3.2.0
追加アクセサリー
VIVEトラッカー2018
Ovrvision Pro（ステレオカメラ）
Leap Motion
使用PCスペック
インテル® Core™ i7-7700K
NVIDIA GeForce GTX 1070
- 環境作成編
#1 Unityのセットアップをする 2021年 1月更新
#2 プロジェクトを作ってみる 2021年 1月更新
#3-α Unity2019でVR開発のための環境を整える（SteamVR Plugin2.7.Xをインストールする）：推奨 2021年 6月更新
#3-β Unity2020でVR開発のための環境を整える（SteamVR Plugin2.7.Xをインストールする） 2021年 5月更新
#3-おまけ UnityでVR開発のための環境を整える（SteamVR Pluginの最新版をインストールする）：非推奨 2021年 2月更新
#4 SteamVRのダウングレードと自動アップデートの停止（上級者向け） 2021年 5月更新
- コントローラの入力やトラッカー，HMDの位置座標，回転座標を得る＋α
#5 VIVEコントローラのボタン入力を取得する 2021年 2月更新
#6 トリガーの押し具合やトラックパッドの位置情報の入力を取得する 2021年 2月更新
#6-おまけ VIVEコントローラを使った開発をする時のおすすめ設定（独断と偏見） 2021年 5月更新
#7 ヘッドマウントディスプレイとコントローラの位置座標と回転を取得する 2021年 2月更新
#8 VIVEトラッカー2018を有効化してUnity上で位置座標と回転を取得 2021年 5月更新
#9 VIVEコントローラの振動機能を開発してみる 2021年 4月更新
- VIVE Pro Eyeのアイトラッキングを使ってみる
#10 VIVE Pro Eyeの視線トラッキングを有効化（セットアップ）する 2021年 4月更新
#11 VIVE Pro Eyeのアイトラッキングを使ってUnity上で瞬きや視線のデータを取得する 2021年 4月更新
#11-おまけ VIVE Pro Eyeのアイトラッキングで計測できるデータについて（適宜更新） 2021年 4月更新
- VIVE Pro Eyeのカメラを使ってみる
#12 VIVE Pro Eyeのフロントカメラの解像度（性能）とAR機能を有効化について 2021年 5月更新
- 小技
プレイエリアの境界線（シャペロン境界）が表示されないように設定を変更する 2021年 6月更新
Unity上でカメラを複数台追加してHMDやコントローラの動きを見る 2021年 6月更新
- Ovrvision Pro（ステレオカメラ）を使ってAR開発してみる
＄1-1 Ovrvision Pro（ステレオカメラ）のセットアップをして実際に動かしてみる 2021年 6月更新
＄1-2 Ovrvision Pro（ステレオカメラ）とHMDを使ってARアプリ開発する 2021年 6月更新
- Leap Motionを使ってハンドトラッキングしてみる
＄2-1 Leap Motion（ハンドトラッキング）のセットアップをして実際に動かしてみる 2021年 6月更新
＄2-2 Leap Motion（ハンドトラッキング）とHMDを使ったインタラクティブなアプリ開発する（この記事） 2021年 6月更新
- アプリを作ってみる
VR（仮想空間）上に曲面ディスプレイを作成して大画面で広角WEBカメラ映像を見る 2021年 5月更新
今回の記事では，
1．Leap motionをVR用に設定する．
2．HMDに合わせてLeap motionの位置合わせを行う．
3．物体とのインタラクションを有効化する．
4．物体との当たり判定をプログラムする．
という流れ．
1．Leap motionをVR用に設定する．
いつも通りStemVRPluginを入れたプロジェクトでシーンを作成し，デフォルトのカメラを削除します．
"SteamVR→Prefabs"の[CameraRig]を追加します．
次にLeap motionの位置をHMDに合わせるために，"Plugin→LeapMotion→Core→Scripts"フォルダ内のLeapXRServiceProviderを[CameraRig]内のCameraオブジェクトに追加します．
LeapXRServiceProviderのEdit Time PoseがHMDに取り付ける用の設定にデフォルトでなっています．
次に手のモデルを追加します．今回はサンプルに切り替えのスクリプトがついてるモデルがあるので，"Plugin→LeapMotion→Modules→Hands→Example"フォルダ内のHandBindingというサンプルを開いてLeapHandControllerをコピーします．
ペーストで先ほど自分で作ったシーンに追加します．
LeapHandControllerにLeap motionの位置指定用のLeapServiceProviderが入っているのでRemove Componentで削除します．
コンポーネントが無事削除されました．
これでキーボードの左右の矢印ボタンでハンドモデルが切り替わるようになりました．
ちなみにLeapHandController内のHandModelManagerの各項目ごとにハンドモデルが指定されてるのでここを自作のものに置き換えることをもできます．
2．HMDに合わせてLeap motionの位置合わせを行う．
使っているHMDや貼る場所によって位置や向きが変わるので位置合わせを設定から行います．
先ほど[CameraRig]内のCameraオブジェクトに追加したLeapXRServiceProviderの設定にAdvanced Optionsがあるので展開します．
展開したらDevice Offset ModeをManual Head Offsetに変更します．
そうすると奥行，高さ，回転の設定が出るので，自身の環境に合わせて変更します．
自分の環境だとステレオカメラの下側にLeap motionoを張り付けています．
なので若干手前の下，下向きに回転させて調整します．実行しながら適当に合わせてください．
3．物体とのインタラクションを有効化する．
インタラクションもサンプルに設定されているものがあるので"Plugin→LeapMotion→Modules→Module→interctionEngin→Example→1.IntractionObject"フォルダ内のIntractionObjectシーンを開きます．シーン内にあるIntractionManagerをコピーします．
コピーしたIntractionManagerをペーストでシーン追加します．
今回は見やすいようにするために部屋と机を適当に配置します．これは環境によって変わる部分なので目の前にCubeを置くだけでも大丈夫です（物が置けて手が届けば）．
今回は3DオブジェクトのCubeを机の上に新規作成します．物体は当たり判定があればなんでも大丈夫です．
追加したCubeを選択し，Add Componentを押します．
ComponentのPyusicsを開きます．
Pyusicsの中にある，Ragidbodyを選択します．これでゲームオブジェクトを物理特性によって制御する事ができます．
次に，"Plugin→LeapMotion→Modules→Module→interctionEngin→Scripts"フォルダ内のinterctionBehaviourをドラックアンドドロップでCubeに追加します．
この状態で実行するとCubeを持ったりつかんだりできます．
※この時カメラオブジェクトのCullingMaskがEverythingじゃないとインタラクションに対応させたオブジェクトが正しく表示されません．
4．物体との当たり判定をプログラムする．
今回はHandCollisionというスクリプトを作成します．
OnCollisionStayという関数は追加したオブジェクトが何かに衝突したときに実行され，collisionに当たった物体のgameObjectなどが返ってきます．
そして今回は机の上にCubeを置いているため常にCubeとの当たり判定が発生するのでDebug.Logが実行されないようにしています．
using System.Collections;
using System.Collections.Generic;
using UnityEngine;
public class HandCollision : MonoBehaviour
{
void OnCollisionStay(Collision collision)
{
if (collision.gameObject.name != "Desk")
{
Debug.Log( collision.gameObject.name);
}
}
// Update is called once per frame
void Update()
{
}
}
作成したスクリプトを先ほど作成したCubeに追加します．
一応指か掌かが判別できます．これを使ってインタラクションするプログラムを組み込むことができます．
次回は手と指先の位置データを抜き出します．