概要
この記事では、UnrealEngine（以下UE）でUltraLeapという深度センサーを使って手の動きをキャプチャーし、手のポーズでエフェクトを操作するという処理を実装したので紹介します。
そのなかで、手のポーズの判定の仕方について焦点を絞った内容になります。
経緯
自分の手から炎を出して操りたいと思ったことありませんか？
私はあります。そんな感じのやつの具現化です。
参考動画
最終こんな感じになります
UltaraLeap
まず、UltaraLeapの紹介です。
https://cornestech.co.jp/manufacturer/ultraleap
概要でも説明したように深度センサーを使って手の動きをキャプチャーしてくれる機械です。
UE用にプラグインも用意されているので導入も比較的容易です。
詳しく説明するのは、手に余るので必要なものだけ紹介します。
LeapMotionデバイス
UltraLeapのSDK
UEのプラグイン
実装内容
とりあえず、見栄えするようにアバターを操作したかったので
Vroidでキャラクターを作成し、
VRM4Uを使ってUnrealEngine上で操作できるようにしました。
おそらくご存じかと思いますが、簡単に紹介しますと
Vroidは人型キャラクターをVRM形式で簡単に作成できるアプリケーションです
VRM4UはUEのプラグインでVRMというフォーマットをUEで扱うことを容易にしてくれるものです。
この二つのツールを使うことによって短時間でオリジナルのキャラクターをUE上に召喚できます。
ホントありがたいです。
手のポーズの判定
デバイスとプラグインを使うことによって、キャプチャーした手の動きをキャラクターに反映させることはできますが、手のポーズの判定処理は自分で実装しなくてはいけません。
どのように、判定しようかと考えていたところありがたい記事がありましたので参考にしました。
内容としましては、各指の曲げ具合で、開いているか閉じているかの二値の状態をとり、それぞれの指の状態の組み合わせでポーズを判定するというものです。
ということで、指の曲げ具合の取得は各指のボーンのベクトルの角度計算で取得できると考えました。
- まず、始めに指のボーンを再帰的に処理するためMapオブジェクトに格納します。
-
テーブルにキーとなるボーン名と付属情報を登録
-
処理しやすくするためテーブル情報から構造体のリストに変換
-
構造体のリストのキー情報から各指のボーンツリーを構造体のリストに変換
ボーン名のマップの方法ですが、ブループリントでスケルタルメッシュのツリー情報から取得できれば手首の骨をルートにして再帰的に取得するなどもっと簡潔にできると思うのですが、指定のソケット名のチャイルドオブジェクトを取得するような処理が見つけられなかったのでテーブルで処理しています。
良い方法知っていたら、ぜひ知りたいところです。
- 次に手のポーズのテーブルを定義してマップします
例えば、グーならすべてClose、サムズアップなら親指がOpenでその他の指がCloseといった具合です。
-
ポーズのテーブルを定義
-
マップに格納
ここではすべての指の状態をひとまとめにしてキーとしています
- そして本題のポーズの判定処理
Tickでの処理となります
指の各状態を取得し、前段階で取得したポーズマップから手のポーズを判定します。
指の状態の取得は、各指の関節毎に角度計算といえばおなじみの内積で行います。
内積は各指の関節が同じ方向を向いている場合、最大値の1となり逆方向を向くと-1となります。
よって、1～-1の間で閾値をとり閾値以上であればOpen、以下ならCloseとします。
親指は他の指より判定が甘くなるので、閾値を調整してCloseになりやすくします。
- 指のボーン名の構造体のリストで各指をForLoopで処理し、指の角度計算メソッド（CalcFingerPose）で指の開閉状態をポーズの状態として取得します。
CacFingerPoseメソッド
1.1. CacFingerPoseメソッド詳細
各指の関節のベクトルを取得
取得した各指の関節のベクトルの内積から角度差を計算
角度差の閾値で開閉状態を判定
ポーズ判定の処理に関しては以上となります。
要点をポーズ判定に絞りエフェクト出力の処理などは紹介できず申し訳ないです。
現在、実装中でノードが整理できず説明できる状態でないので割愛しました。いい感じにできてきたら記事にしたいと思います。
ではみなさん、少し早いですがメリークリスマス＆ハッピーニューイヤー