OculusQuestのハンドトラッキングで指ジェスチャに色々つけたら大混乱

はじめに

Oculus Quest がアップデートでハンドトラッキングに対応してます。
ハンドトラッキングでは、コントローラ等一切無しで自分の手・指のみでVR操作ができるようになります。
SDKとしては各手・各指関節の曲がり具合が取得できるのですが、
これをアプリの操作に利用すれば 各指の伸ばす・曲げるにボタン割当すれば１０指１０ボタンまでいける

じゃ指10本を思うがままに個別に動かせるのかというとそんなわけないだろと..
この記事はそんなハンドトラッキングとアプリ操作について考察・試行錯誤した事例を紹介するものです。

(なおこの記事は 2020/1月から書いていた記事 "ついにでたOculusQuestハンドトラッキング×VRMでアバター空間満喫してみた" からの派生記事です)

ハンドトラッキング・指操作についての考察

ハンドトラッキングで指に操作割り当てしようとすると、色々課題にぶつかります。
大きく人間側起因の課題と、ハンドトラッキング起因の課題があるなかで気づいたものを整理しておきます。
（なお摘まむジェスチャをピンチと呼んでます）

• 人が自然に独立して動かせる指と・そうでない指がある
  • 人によってできる・できない違いそうなのですが、私の場合こんな具合
    • 親指＋他指のピンチ
      • 人差指 : いける。
      • 中指 : 一緒に薬指・小指まがっちゃう
      • 薬指 : 一緒に中指曲がっちゃう
      • 小指 : できるけどちょっと苦しい
    • 親指＋他指２本のピンチ
      • 人差指・中指 : 一緒に薬指曲がっちゃう
      • 中指・薬指 : いける
      • 薬指・小指 : 一緒に中指曲がっちゃう
    • 親指＋他指３本のピンチ
      • 人差指・中指・薬指 : いける
      • 人差指・薬指・小指 : 苦しい
      • 人差指・中指・小指 : 苦しい
      • 中指・薬指・小指 : いける
• OculusQuest のハンドトラッキングで得意・苦手な手がある
  • 手を静止してジェスチャ
    • 視界から奥のほうの隠れた指がプルプルする..
  • ジェスチャしたまま手を動かす
    • 薬指ピンチしようとするとプルプル..
  • 他、様々 ”普通やらないでしょ” ってジェスチャほどプルプル..
  • LeapMotion同様、ハンドトラッキングもののデバイスあるあるだと思うので、これはそういうものと 割り切ったうえでアプリデザイン考えることに。

指の操作をつたえるの、とても大変

サンプルアプリ作って試してもらったら..

自分以外の人に使ってみて貰おうとしたら、これがとても大変。
なにせ、各種指ジェスチャを呼ぶ名前が無くって、さらにはユーザーとの概念の共通認識もなくって。

• ”右手の五本の指を全部開いて、そこから人差し指と親指だけ閉じてくっつけて”＝ピンチ
• ”目の前に見えてる四角い箱をピンチすると掴めて”＝ピンチしたままドラッグ？
• "ピンチしてたの離す”＝ピンチ..アウト？？
• 指で摘まむ＝ピンチイン, 摘まんだまま動かす＝ピンチドラッグ, 摘まんだの離す＝ピンチアウト、とか？

基本のクリック、ドラッグ操作すら伝えるの難しい。
それが済むと今度 ”それを指でピンチして” というと手５指でグリップしちゃって別操作になったり。

今回のサンプルアプリは使える操作として、

• "左手の中指をロングピンチするとメニューon/off"
• "左手の人差指・中指でピンチドラッグするとワールド全体移動”
• "左手・右手を視界正面からちょっと外側でピンチドラッグするとワールド全体拡大縮小"

なんてのも付けてみたのだけど、ここまでくると解説動画でもないと理解してもらえる気がしない..。
上手なアナウンスと操作に対する習熟が必用か..。

ここまでくるとハンドトラッキングめんどくさくない？コントローラ使えばいいじゃんってなりそうなんですが、
しかしコントローラから解き放たれたVR-HMDの使うの簡易さといったら、もうこれなしじゃ嫌なわけですよ。
なのでなんとかこれに慣れていきたい・慣らしていきたい次第です。

今回のサンプルの使ってるとこ動画(twitter)

QuestHandtrackingで遊ぶ・使うジェスチャ増えてきて指が混乱してきた、あと指つりそうになる #手製 #unity #OculusQuest #handtracking pic.twitter.com/daJLwLdcEU

— sa_w_ara△ (@sa_w_ara) February 18, 2020

まとめ

• ハンドトラッキングは指操作できる素敵夢技術
• 指でおこなう空間操作にまだ馴染みがないので、どの指操作は多数の人が普通にできるのか知見が欲しい。
• インサイドアウトのデバイスでのハンドトラッキングには、手の姿勢によって検出の得意・不得意あるので、 どの指操作は検出しやすいのかの知見が欲しい。
• 指で行うジェスチャー群に一般的な名称がついて、みんな分かるくらいまで普及してほしい。
  • マウスが出て右クリック・ダブルクリック・ドラッグ＆ドロップが普及、スマホでフリック入力が普及したように。