バーチャルキャストで誇れる機能の一つとして
VIVE ProEyeによるVRMモデルの簡単なアイトラッキング制御があります。
VRMのBlink_LRの設定するだけでウィンクや流し目など、リアルな視線が追従できる魅力を一度知ってしまうと、なかなか他のHMDやプラットフォームへ食指が伸びない中毒性があるこの機能ですが
Booth等での販売モデルによっては、目のボーン構成の違いでうまく動かない事が多々あります。
ここではおぐら氏の
「VRMモデルの視線制御(目の可動範囲)の設定方法」
https://qiita.com/OGOG_Ogura/items/46a1f82553c5f6501636
の記事を参照した上で
それでも思い通りに目が動かずに使用を諦めたモデルがある方へ向けての記事です。
かなりニッチな需要だと思いますが、Blenderを触らずにちょっとの操作で
モデルに悪影響を与えずに制御が難しいモデルも目線が動かせるようになるので、ProEyeをお持ちでない方でもお友達などで困っている方が居たらぜひこの記事を共有して下さい。
今回の記事で参考資料として、
【ショップ】けもみみおーこくミュリネ KEMOMIMIX【オリジナル3Dモデル】
https://booth.pm/ja/items/4568388
こちらのモデルを参考に進めていきます。
まず、ヒエラルキー上で右クリック→3D Object→Cubeで目線追跡用の目印となるキューブをスケール0.1で作成します。
続いて、ミュリネのルートディレクトリをクリックしてインスペクターを下にスクロールした先にある「VRM Look At Head(script)」の「Target」にヒエラルキー上のCubeをD&Dします。
この状態でシーンを再生すると、Cubeの位置を目線で追う事ができますが
VRM Look At Bone Applyerの数値を調整しても思うように動きません。
向かって左側にCubeを配置して
Horizontal Outer、Curve Y Range Degree 8の状態(デフォルト)
この数値をいくら盛っても、地球儀のように目のボーンが回ってしまうので
見た目が破綻してしまいます。
実はLook At Bone ApplyerにはBlendshapeで制御できるスクリプトがあります。
しかし可動範囲が決まっているので破綻はしないが物足りない…という場合もあると思います。また、Blendshape内に以下の表情設定が必要で
LookLeft
LookRight
LookUp
LookDown
この4種にそれぞれのBlendshapeを割り当てないと動きません。
(ミュリネの付属VRMには目線の上下左右のBlendshapeが無いので割愛します。)
では、ここからが本題ですが、
VRM Look At Bone Applyer(script)内の
「Left Eye」「Right Eye」をクリックすると
ヒエラルキー上の指定の場所まで一気に開きます。このオブジェクト構成を改造します。
Eye_Lを右クリックして「Create Empty」を選択します。
名前を親オブジェクトと同じ「Eye_L」に変更し
本来の目のオブジェクトを「Eye_L2」に改名します。
この後がポイントですが、子オブジェクトの「Eye_L」を
一旦Head下へD&Dします。
こうする事で他のオブジェクトに影響を与えず、Eye_Lのオブジェクト座標を調節できます。
VRM Look At Bone Applyer(script)による視線制御は
目のボーンの座標を基準に左右に曲がる為、中心位置が近いと歪んでしまうので、この空オブジェクトの「Eye_L」を後頭部へ移動させます。
(図ではpositionのZ値を-0.05に変更しています)
座標の変更後に、空オブジェクトの「Eye_L」を親として
本来の目オブジェクトである「Eye_L2」を子としてD&Dします。
基本的に右目、左目とやることは同じなので、左目ができたら同じように右目も改造してみましょう。
2つのオブジェクト構成の改造が終わったら、ルートディレクトリから
VRM Look At Bone Applyer(script)を確認しましょう。
参照するボーンがリネームされたので、変わっていますね。
これを空オブジェクトの「Eye_L」「Eye_R」に変更しましょう。
この状態でシーンを再生して、Curve Y Range Degreeを調整すれば
想定通りの動き方をすると思います。
もしこれでも視線の動きに歪みが生じる場合は、空オブジェクトの座標をもっと後ろに下げてみて下さい。逆にどれだけ減らしても動きすぎる場合は手前側に空オブジェクトを動かして調整してみましょう。
お好みの可動範囲が設定できたらシーン再生を閉じる前に
「copy component」して、閉じた後に
「paste component value」で値を上書きしましょう。
最後にVRM出力ですが、今回の改造では回転拡大縮小は用いていませんが、
親子関係をいじっているので念のため正規化(Pose Freeze)で
出力しましょう。
これでアイトラッキングがうまく働かずに眠っていたあの子も救われるかもしれません。
ProEyeをお持ちの友達がいたらぜひこの記事を共有して
無加工では味わえない目線トラッキングを体験してみて下さい。
それでは、良いクリスマスを!