Help us understand the problem. What is going on with this article?

Virtual Chara開発 - その4

店舗接客などに使える仮想のキャラクターが扱えるアプリ開発をしました。そちらの説明はこちらになります。
https://qiita.com/NestVisual/items/fe4dd168178e27156682

環境:
Windows 10
Unity 2018.4.1
RealSense D435i

Nuitrackの関節の回転制限:

キャラクターの動きに大きな問題があったのは、トラッキングデータが不正確だと手足が不気味な位置に回転してしまいました。これはかなりの頻度で起きて、精度を上げるためにやることはほとんどありませんでした。このような事態が発生した場合に対処するために、2つの解決策を思いつきました。最初の方はかなりわかりやすく、簡単に実装できました。利用者がカメラに対して相対的に移動できる最小距離と最大距離を設定しました。現状利用者とカメラの距離はその2つの値の範囲内にない場合、骨格トラッキングはキャラに反映されません。

sample2.cs
private void Update()
{
    ProcessSkeleton();
}

private void ProcessSkeleton()
{
    nuitrack.Skeleton skeleton = CurrentUserTracker.CurrentSkeleton;
    UserIsWithinRange = (!(userDistanceCm < _minCamDistance) && !(userDistanceCm > _maxCamDistance));

    if (skeleton != null && UserIsWithinRange)
    {
        IsTrackingReflected = true;
        AnimateSkeleton(skeleton);
    }
    else    {IsTrackingReflected = false;}
}

2つ目の解決策の方が難しいでした。関節の回転が不自然の限定に拘束設定すれば、手足はあまり不自然な位置に動かないと思いました。まず、Unityエディタでモデルの関節を手動で回転させて限界を見つけました。最大値と最小値で、不自然に見える限界の回転を記しました。しかし、これらの回転は各関節の局所的なものであったのに対し、Nuitrackからの回転はすべてグローバルなものです。 このため、トラッキングされた回転をモデルの関節に設定する前に、ローカル回転に変換必要があります。トラッキングされた関節のグローバル回転に親関節の回転の逆数を乗算した値をローカル回転に反映させれば良いと考えました。

Quaternion localRotation = worldRotation * Quaternion.Inverse(parentRotation);

しかし、常に手足があらゆる種類の回転で回転していたので、結果は思った通りに完全違いました。色々のテストの後で、ついにNuitrackフォーラムで問題を投稿しました。Nuitrackのスタッフが、掛け算の順番が関係しているのを教えてくれました。それは考えなかったのですが、掛け算の順番を逆にしたら、回転が正しく設定されました。Quaternion は行列なので、掛け算の順番が重要です。これで関節の回転を制限する事に一歩近づきました。

次の問題は、前述の関節回転制限を使用してみたときに発生しました。これらの回転値は、Unity インスペクタでいじって見つけました。Unity インスペクタでは、負と正の両方の回転値を使用ができます。しかし、Unityは実行時に 0~360 の角度しか使用しません。言い換えれば、0~180度のインスペクタ回転値は実行時の値に正しく対応しますが、-180~0度のインスペクタ値は180~360度の実行時の値に対応します。これを考慮するために、eulerAnglesでローカル関節の回転が180を超えるかどうかに応じて、各軸から360を差し引きました。そしたら、最小回転と最大回転の同じ軸値の間で各軸の値をクランプができました Mathf.Clamp(回転x, 最小x, 最大x)。 これは以下のGetConstrictedRotation()メソッドで行います。

private void RotateJointLocal(ModelJoint modelJoint, Quaternion worldRotation, bool setConstraint)
{
    Quaternion parentRotation = Quaternion.identity;
    if (_newRotations.ContainsKey(modelJoint.parentJointType)) {
        parentRotation = _newRotations[modelJoint.parentJointType];
    }
    Quaternion localRotation = Quaternion.Inverse(parentRotation) * worldRotation;
    Vector3 localEuler = localRotation.eulerAngles;

    if (modelJoint.jointType == nuitrack.JointType.Torso)   localEuler.x = 0;
    if (modelJoint.jointType == nuitrack.JointType.Waist)   localEuler.x = 0;

    if (setConstraint)  localEuler = GetConstrictedRotation(localEuler, modelJoint.jointType);

    Vector3 currentEuler = modelJoint.bone.localEulerAngles;

    modelJoint.bone.localEulerAngles = new Vector3(
        Mathf.LerpAngle(currentEuler.x, localEuler.x, _moveSpeed * Time.deltaTime),
        Mathf.LerpAngle(currentEuler.y, localEuler.y, _moveSpeed * Time.deltaTime),
        Mathf.LerpAngle(currentEuler.z, localEuler.z, _moveSpeed * Time.deltaTime));
}

private Vector3 GetConstrictedRotation(Vector3 euler, nuitrack.JointType jointType)
{
    var minRot = _jointMinRotations[jointType];
    var maxRot = _jointMaxRotations[jointType];

    float x = (euler.x > 180) ? euler.x - 360 : euler.x;
    float y = (euler.y > 180) ? euler.y - 360 : euler.y;
    float z = (euler.z > 180) ? euler.z - 360 : euler.z;

    x = Mathf.Clamp(x, minRot.x, maxRot.x);
    y = Mathf.Clamp(y, minRot.y, maxRot.y);
    z = Mathf.Clamp(z, minRot.z, maxRot.z);

    return new Vector3(x, y, z);
}

このように、モデル四肢の回転を制限する事が出来た為、不気味な動きを軽減させる事が出来ました。
次回はキャラのアニメーションに関して投稿します。それではまた

NestVisual
「映像コンテンツ」と「テクノロジー」の融合による高品質な映像表現を目指し、「XR(VR/AR/MR)」、「インタラクティブシステム」、「プロジェクションマッピング」など、様々なデジタルコンテンツの開発、制作に関わっています。また、受託案件だけではなく、オリジナル開発されたアプリやコンテンツなどにも力を注ぎ、日本だけではなく、アジアそして世界へ発信できるコンテンツを開発しています。
https://www.nest-vis.com/
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした