【NeosVR】QuestProでフェイシャル＆アイトラッキングする方法

QuestProユーザーのみなさん！NeosVRでもアバターの目や口を動かしたいですよね？

今回はその方法をまとめてみました！

この記事はNeos VR Advent Calendar 2022（一枚目）の23日目です。
昨日のmp/月光原澪さんの「髪などボーンを切れるハサミ改造してみた」でした。
明日はlitalitaさんの「NeosVRでの音楽関係活動振り返り2022」です。

ALXRを導入する

ALXRを導入すると(Air)Link経由でフェイシャルやアイトラッキングの情報をPCに送れるようになります。
以下はVRCFTというDiscordサーバーに記載されていたものを参考にしています。

１．スマートフォン側でMeta Quest を開発者モードに設定します。

• Meta アカウントが Oculus 開発者アカウントであることを確認します。お使いのアカウントが Oculus 開発者アカウントでない場合は、https://developer.oculus.com/sign-up/ でサインアップしてください。
• iOS または Android で Oculus アプリを開きます。 [メニュー]、[デバイス] の順に移動し、Quest Pro を選択して [開発者モード] をクリックします。オンになっていることを確認します。
  

２．PC側で設定の変更をします。

• PC で Oculus アプリケーションを開き、[設定]、[一般] の順に移動します。提供源不明なソースをオンにします。現在の OpenXR ランタイムが Oculus に設定されていることを確認します。

３．QuestPro側でアイトラッキングと自然な表情をONにします。

• [設定] から[ベータ版]に移動します。開発者ランタイム機能をオンにしてから、Oculus Link でアイトラッキングをオンにし、Oculus Link で自然な表情をオンにします。

アップデートでベータ版の機能ではなくなった可能性があります。
その場合、[設定] から[動きのトラッキング]へ移動し、各種設定をオンにします。

４.PC側でALXRのダウンロードと設定をします。

• 最新の alxr-client-win-x64.zip をダウンロードして解凍します: https://github.com/korejan/ALXR-experimental/releases

※ダウンロード時に警告が出ますが継続してください。
※zipファイルは右クリックしてすべて展開で解凍できます。

• alxr-client を右クリックして、ショートカットを作成します。ショートカットを使いやすい場所に移動してください。

• 作成したalxr-client ショートカットを右クリックし、[プロパティ] をクリックします。 [リンク先] の最後にフラグ「 --no-alvr-server --no-bindings」 を追加し、適用します。コピー&ペースト推奨。
  

Mod「QuestPro4Neos」を導入する

Modを導入するのが初めての方はこちら。もしくはこちら（Steam版の設定のみ）。
そして、↓のModの最新版を既存のnml_modsフォルダに入れてください。
※2022/12/23現在、眼球の左右の動きが取れないです。

起動手順

1.SteamVRを起動します。

2.作成したalxr-client ショートカットからalxr-clientを起動します。初回は警告が出るので許可しましょう。

3.QuestProの画面が緑がかったネズミ色になるので、Questメニューを開いてデスクトップ画面に切り替えましょう。
メニューのリングに画像のようにSteamVRとalxr-clientのアイコンの両方が表示されていれば大丈夫です。

※alxr-clientがSteamVRで起動されてしまう場合は、上記の「ALXRを導入する」の2.のOpenXRランタイムのアクティブに設定がされていないと思われます。時々解除される人もいるらしいです。その都度押してください。

4.Modを導入したNeosVRをショートカットから起動。
※SteamVRで起動しなかったらこのツイートを参考にしてください。

5.まぶたが動けば成功です。

アバター側の設定

DevToolTipの使い方が分からない人には厳しいです。

１．口を動かす。
大体のアバターはCenteredRoot -> RootNode -> Bodyに表情のシェイプキーと、DirectVisemeDriverというコンポーネントが付いています。
DirectVisemeDriverは喋った声をタイプ分けして、それに合った口の形のシェイプキーを動かしてくれるコンポーネントです。
すでにフェイシャルトラッキングで口の動きは取れているので、DirectVisemeDriverのSourceをnullにしてください。(話した声に口を反応させたい人は消さなくて大丈夫です。)
そして二つのコンポーネントをアタッチします。
/Users/Common Avatar System/Face/AvatarExpressionDriver
/Users/Common Avatar System/Face/AvatarMouthDataSourceAssigner

アタッチできたら、
AvatarMouthDataSourceAssignerのTargrtReferenceにDirectVisemeDriverのMouthTrackingSourceを掴んで入れます。

また、AvatarExpressionDriverのブレンドシェイプを自動割り当てを押します。

ほかのアバターをインベントリから出すなどして、設定したアバターを着替えなおせば口が動くようになります。

2.目の動きを設定する。
人によっては、目を開いている状態でまぶたがぴくぴく動くと思います。これを直すために、目のCloseに閾値を設定しましょう。

Headの下の階層(頭にGizmo当てて開くと早いです)にEye ManagerというSlotがあるので開きます。
EyeLinearDriverというコンポーネントの、MinInputClosenessが目を閉じる最小の閾値で、MaxInputCloseness目を閉じる最大の閾値です。写真の赤枠の上が左目、下が右目です。自分は右目がぴくぴくしやすかったので閾値を高めに設定しました。

また、まぶたを閉じる速度が速すぎるので少し遅くします。

EyeLinearDriverのOpenCloseTargetに入っているシェイプキーが、目の開閉に使われているものです。
これを一度SmoothValueを経由させて数値の変更を滑らかにします。
コンポーネントを一つアタッチします。
/Transform/Drivers/SmoothValue
コンポーネント名の右横の「D」を押して複製します。
二つSmoothValueが付いたので、Valueに右目と左目の瞬きのシェイプキーを掴んで入れます。(BodyのSlotにあるシェイプキーです。)
Speedを設定します。高ければ高いほど瞬きの速度が上がります。自分は14です。
TargetValueの文字を掴んで、右目は右の、左目は左のOpenCloseTargetに入れます。

これでまばたきが滑らかになります。

3.その他の調整方法
口の開閉などの閾値を設定したい場合はValueGradientDriverを使いましょう。
/Transform/Drivers/ValueGradientDriver

AvatarExpressionDriverのjawOpenに入っているものがあればそれをnullにした後に、ValueGradientDriverのTargetに入れましょう。
そして、Pointsを追加して画像のようにした後に、Progressを掴んでjawOpenのTargetに入れましょう。
これで口を開くのが段階的になりました。
また、AvatarExpressionDriverのjawOpenとDirectVisemeDriverのaaは競合するので、口の大きく開けたときに、シェイプキー二つ分開い>てしまうことがあります。どちらかをnullにするか、ValueGradientDriverを二つ使って、下画像のようにしましょう。

おわり

今回はQuestProでフェイシャル＆アイトラッキングする方法をまとめてみました。
本記事が誰かの役に立てば嬉しいです。
DeskTopFacialのやり方も記事にしてほしいと言われたのでそのうち書くかもしれません。
最後まで読んでいただきありがとうございました。

りんき