店舗接客などに使える仮想のキャラクターが扱えるアプリ開発をしました。そちらの説明はこちらになります。
https://qiita.com/NestVisual/items/fe4dd168178e27156682
環境：
Windows 10
Unity 2018.4.1
RealSense D435i
Nuitrack：
Nuitrackは3Dセンサーを扱うソフトで、主に全身骨格のトラッキング、顔のトラッキング、に焦点を当てていますが、ジェスチャー認識もあります。RealSense D435は、フロントページに掲載されているいくつかのサポートされている3Dセンサーの中に含まれています。
https://nuitrack.com/
また、Unityだけでなく、Unreal Engineのインストール方法やチュートリアルが記載された文書化ページもあります。
https://download.3divi.com/Nuitrack/doc/Installation_page.html
Nuitrackをインストールして、現在のプロジェクトに統合しようとしたところ、OpenCVと干渉してエラーが発生しました。シーン内でNuitrackを無効にするとエラーが消えていました。Nuitrackには顔トラッキングが付いているので、それを使って何ができるかを見てみようと思って、とりあえずNuitrackだけで新しいシーンを作ってみました。
すべてのチュートリアルの中で、「Animating the avatar using skeleton」というのが一番参考になりました。無料のUnityアセットストアモデルの "Unity chan "をNuitrackのトラッキングされたスケルトンでアニメーションします。 結果はかなり良いものになりました。チュートリアルでは、間接マッピングと直接マッピングの使用例が紹介されています。 間接マッピングは、モデルを歪めることなく、追跡された骨格の四肢の位置に基づいてキャラクターの四肢を移動させるので、このプロジェクトには最適だと思いました。直接マッピングは、モデルを歪めて、手足の真の位置をより正確に表現します。 このタイプは、VR ゲームなど、没入感が大切なものに適しているかもしれません。キャラクターの体との解離を感じないようにするためです。また、モデルが利用者に近い等身であれば、間接マッピングよりも見栄えが良いかもしれません。
Vroid:
Unityちゃんモデルとは別のモデルが使えるかどうかを確認するために、VRoidというアプリケーションを使ってみました。
https://vroid.com/en/
キャラクターをカスタマイズしてオリジナルにする機能があります。一時的に使うだけなので、プリセットキャラの一つをエクスポートしました。
「Unityちゃん」のモデルとかなり似たような設定します。全ての手足にコリダーが付属しています。ぶつかるたびにギクシャクした動きをしていたので、これで手足が体に入れるようになったとはいえ、個別に外しました。
次回はNuitrackのデバッグに関して投稿します。それではまた