※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※
MikuMikuMoving v1.2.8.0で公式にPerception Neuron対応されましたので、
現在こちらのプラグインを使用する必要はありません
※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※
#Perception Neuronとは
中国Noitom社によって開発された低価格モーションキャプチャシステム。公式サイトはこちら。最大32個のNeuronと呼ばれる9軸センサモジュール（3軸ジャイロ＋3軸加速度＋3軸磁気）を用いて指先を含めた全身のキャプチャが可能。Axis Neuronという専用ソフトからTCP/UDPによるBVHフォーマットのモーションデータを送信することができます。システム一式（Neuron32個付属）で$1,499。Axis NeuronはこちらからFree版をダウンロードすることができます。Perception Neuronを持っていなくてもサンプルのモーションデータを再生させることができます。
#MMM(MikuMikuMoving)とは
Mogg氏により開発されているMikuMikuDance(MMD)互換ソフト。公式サイトはこちら。MMD用のモデルやモーションデータが使用可能。プラグイン機能を持っており、ユーザーが自由に機能を追加することができます。
今回、Axis Neuronから送信されたモーションデータをMMMで受信し、MMDモデルにモーションを反映させるプラグインを作成しました。実装した内容について書きたいと思います。
#MMMのプラグイン開発
MMMのプラグインの開発に必要なソフトウェアと環境は以下になります。
開発に必要なソフトウェア
・Microsoft Visual C# 2010 Express もしくはこれに準じるソフトウェア必要環境
・Windows XP以降
・.NET Framework 2.0
・DirectX 9.0c Runtime 2010 Feb以降 (SDKは必要ありません)
※MMM公式サイト 17.プラグインより引用
プラグインには、ボタンを押したときに実行されるコマンドプラグインと、毎フレーム実行される常駐型プラグインの２種類のタイプがあります。これらのプラグインでは、モデル、アクセサリ、エフェクト、カメラやライトに対して、キーフレーム操作やモーション操作等が可能です。プラグイン開発については詳しくはMMM公式サイトの17.プラグインをご確認ください。今回は常駐型プラグインで開発しました。
#モーションデータの受信
##NeuronDataReaderライブラリ
Axis NeuronはTCP/UDPによるBVHフォーマットのモーションデータを送信することができます。NeuronDataReaderというC/C++用ライブラリが提供されており、これを利用することでBVHデータの受信を簡単に行うことができます。
※画像は「Neuron Data Reader Runtime API Documentation」1.1. NeuronDataReader frameworkより引用
##BVHデータフォーマット
毎フレームのデータにはBVHヘッダとBVHモーションデータが含まれます。BVHヘッダには、位置情報の有り無しやリファレンスデータの有り無しなどの基本的な情報が含まれます。
// Header format of BVH data
typedef struct _BvhDataHeader
{
uint16_t Token1; // Package start token: 0xDDFF
DATA_VER DataVersion; // Version of community data format. e.g.: 1.0.0.2
uint16_t DataCount; // Values count
uint8_t WithDisp; // With/out displacement
uint8_t WithReference; // With/out reference bone data at first
uint32_t AvatarIndex; // Avatar index
uint8_t AvatarName[32]; // Avatar name
uint32_t FrameIndex; // Frame data index
uint32_t Reserved; // Reserved, only enable this package has 64bytes length
uint32_t Reserved1; // Reserved, only enable this package has 64bytes length
uint32_t Reserved2; // Reserved, only enable this package has 64bytes length
uint16_t Token2; // Package end token: 0xEEFF
}BvhDataHeader;
※コードは「Neuron Data Reader Runtime API Documentation」2.1.4. Header of BVH data streamより引用
BVHモーションデータは連続したfloat値になっています。リファレンスデータ有りの場合、最初の6つのfloat値はリファレンスボーンの位置と回転になります。位置情報有りの場合、すべてのボーンが6つのfloat値(位置xyzの3つと回転xyzの3つ)を持ちます。位置情報無しの場合、ルートボーンのみ6つのfloat値を持ち(位置xyzの3つと回転xyzの3つ)、それ以外のボーンは3つのfloat値を持ちます（回転xyzの3つ）。
※画像は「PERCEPTION NEURON UNITY HANDBOOK」APPENDIX D: BINARY DATA SEQUENCEより引用
回転の順序はYXZです（Axis Neuron側の設定で変更可能）。
また、ボーンの階層構造は「Neuron Data Reader Runtime API Documentation」Appendix B: BVH header templateに載っています。
##C#でNeuronDataReaderを利用する
公式サイトからダウンロードできるNeuronDataReader SDKにはdemo_csというC#で開発されたサンプルプロジェクトがついてきます。このサンプルプロジェクトにはNeuronDataReaderWraperというC#からNeuronDataReaderを使うためのラッパクラスが含まれています。C#でNeuronDataReaderを利用する場合はこちらを使わせてもらいましょう。
また、公式サイトからダウンロードできるUnity IntegrationというUnity向けのパッケージに含まれているNeuronActor.csやNeuronTransformsInstance.cs、NeuronAnimatorInstance.csに、受信したデータから各ボーンの位置と回転を取り出したり、取り出した位置と回転を受信側のモデルのボーンに適用する処理が書かれています。こちらも参考になるかと思います（位置と回転はUnityの座標系に合わせて変換されているので注意してください）。
#それぞれの座標系
##Perception Neuronで使用される座標系
xの正方向が右、yの正方向が上、zの正方向が手前の右手系です。
※画像は「Neuron Data Reader Runtime API Documentation」Appendix D: Skelton Graphより引用
##MMMで使用される座標系
xの正方向が右、yの正方向が上、zの正方向が奥の左手系です。
MMMの画面上の座標軸はzが手前に伸びてますがマイナス方向なので注意です。
##座標系の変換
以上より、位置に関してはzの値をマイナスに、回転に関してはxとyの回転を逆に回転させることで、Perception Neuron側の値をMMM側の座標系に合わせる事ができます。
#Perception NeuronとMMMのボーンの対応
Perception NeuronとMMMのボーンは以下のように対応させました。MMDモデルのボーン構造はモデルによって違いがあったりしますが、標準モデルをベースに対応付けています。Perception Neuronからは各ボーンの位置と回転が得られますが、Hipsの位置をセンターの位置に使用している以外は、位置は使わず回転のみ使っています。上半身については、Perception Neuron側のSpine、Spine1、Spine2、Spine3の四つのボーンの回転を合計した値をMMM側の上半身ボーンに使っています。上半身２を持っているモデルの場合は、Spineを上半身、Spine1、Spine2、Spine3の合計を上半身２に使う等すると良いかと思います。また、RightHandIndex1とRightInHandIndexの回転を合計した値を右人指１ボーンに使っています。他の指も同様です。（このあたりはUnity IntegrationのNeuronAnimatorInstance.csのやり方を参考にしました）
| Perception Neuronのボーン | MMMのボーン |
|---|---|
| Hips(位置) | センター(位置) |
| Hips | 下半身 |
| RightUpLeg | 右足 |
| RightLeg | 右ひざ |
| RightFoot | 右足首 |
| LeftUpLeg | 左足 |
| LeftLeg | 左ひざ |
| LeftFoot | 左足首 |
| Spine+Spine1＋Spine2＋Spine3 | 上半身 |
| Neck | 首 |
| Head | 頭 |
| RightShoulder | 右肩 |
| RightArm | 右腕 |
| RightForeArm | 右ひじ |
| RightHand | 右手首 |
| RightHandThumb1 | 右親指１ |
| RightHandThumb2+RightHandThumb3 | 右親指２ |
| RightHandIndex1+RightInHandIndex | 右人指１ |
| RightHandIndex2 | 右人指２ |
| RightHandIndex3 | 右人指３ |
| RightHandMiddle1+RightInHandMiddle | 右中指１ |
| RightHandMiddle2 | 右中指２ |
| RightHandMiddle3 | 右中指３ |
| RightHandRing1+RightInHandRing | 右薬指１ |
| RightHandRing2 | 右薬指２ |
| RightHandRing3 | 右薬指３ |
| RightHandPinky1+RightInHandPinky | 右小指１ |
| RightHandPinky2 | 右小指２ |
| RightHandPinky3 | 右小指３ |
| LeftShoulder | 左肩 |
| LeftArm | 左腕 |
| LeftForeArm | 左ひじ |
| LeftHand | 左手首 |
| LeftHandThumb1 | 左親指１ |
| LeftHandThumb2+LeftHandThumb3 | 左親指２ |
| LeftHandIndex1+LeftInHandIndex | 左人指１ |
| LeftHandIndex2 | 左人指２ |
| LeftHandIndex3 | 左人指３ |
| LeftHandMiddle1+LeftInHandMiddle | 左中指１ |
| LeftHandMiddle2 | 左中指２ |
| LeftHandMiddle3 | 左中指３ |
| LeftHandRing1+LeftInHandRing | 左薬指１ |
| LeftHandRing2 | 左薬指２ |
| LeftHandRing3 | 左薬指３ |
| LeftHandPinky1+LeftInHandPinky | 左小指１ |
| LeftHandPinky2 | 左小指２ |
| LeftHandPinky3 | 左小指３ |
#Perception NeuronのモーションをMMMに適用させる
Perceoption NeuronのモーションをMMMに適用させるために、プラグイン内で以下のような処理を行っています。
##デフォルトポーズの違い
Perception NeuronのデフォルトポーズはTスタンスですが、MMMのデフォルトポーズはAスタンスです。MMM側でTスタンス用のモーションデータを使えるように、モデルのポーズをAスタンスからTスタンスに変換します。肩、腕のボーンが地面と平行になるようにz軸回転させます。
はじめに、肩ボーンの、グローバル座標系のx軸に対する角度を求めます。次に、腕ボーンの、肩ボーンに対する角度を求めます。肩と腕それぞれ求めた角度分戻すとTスタンスになります。
また、親指が、Perception Neuron側では閉じているのに対し、MMM側では開いています。
Tスタンスに変換後、グローバル座標系のx軸に沿うように親指１ボーンをY軸回転させて、親指を閉じさせます。
##ボーンの回転軸の違い
Axis Neuronから送信されるモーションデータの回転角はボーンのローカル座標系における回転角ですが、MMM側で回転を指定する際にはデフォルトポーズ時におけるMMMのグローバル座標系に一致したローカル座標系で指定することになります。
そのため、肩、腕、ひじ、手首、指についてはAxis Neuron側の回転をかける際に、Axis Neuron側とMMM側で回転軸が合うようにボーンを回転させておく必要があります。Tスタンスへの変換と合わせると、行列の計算は以下のようになります。
Tスタンスへの回転行列×「回転軸を合わせるための回転行列」の逆行列×肩、腕、ひじ、手首、指ボーンの回転行列×回転軸を合わせるための回転行列
親指１ボーンの場合は、上記計算に親指を閉じさせる回転を加えます。
親指を閉じる回転×Tスタンスへの回転行列×「回転軸を合わせるための回転行列」の逆行列×親指１ボーンの回転行列×回転軸を合わせるための回転行列
##Perception NeuronのSpineボーンとMMMの上半身ボーンの違い
Perception NeuronのSpineボーンはHipsボーンの子ですが、MMMの上半身ボーンは下半身ボーンと親子関係にありません。MMM側で、Hipsボーンの回転を上半身ボーンにも適用させる必要があります。行列の計算は以下のようになります。
Hipsボーンの回転行列×上半身ボーンの回転行列
##センター位置のリセット
直立時にセンターボーンのY座標が0になるように、直立時のPerception NeuronのHipsボーンのY座標の値をオフセット値として使っています。
#プラグインの使い方
今回作成したプラグイン(NeuronReceiver.dll)をこちらで配布しています。Perception Neuronの公式サイトからAxis NeuronとNeuronDataReader SDKをダウンロードしてください。MMMはこちらからダウンロードできます。（上で説明した内容をプラグインの内部で処理しています。このプラグインを使うにあたって、モデルのTスタンスへの修正などは必要ありません）
##Axis Neuronの設定
File->Settings->Broadcastingを選びます。TCPを選択し、BVHにチェックをいれてください。Portは7001にしておきます。
File->Settings->Output Formatを選びます。Frequency reducingは1、Block typeはBinary、RotationはYXZを選んでください。
動作確認用に適当なサンプルモーションを再生しておきます。
##プラグインの導入
NeuronDataReader SDKのWindows\lib\x64\NeuronDataReader.dllをMMMの実行ファイルと同じフォルダなどパスの通っている場所にコピーしてください（32bit版のMMMを使用する場合はWindows\lib\x86\NeuronDataReader.dllを使用してください）。
Pulginsフォルダにプラグイン以外のdllを入れるとMMM起動時に以下のエラーになってしまうので注意してください。(対処法をサメジ部長 (@samezi)さんに教えていただきました。ありがとうございました)
NeuronReceiver.dllをMMMのPluginsフォルダにコピーしてください。
MMMを起動してください。起動時に以下のエラーが出ることがあるようです。その場合は、こちらの対処方法を参考にしてください。
モデルを読み込みます。
足のIKをすべて切ります。
NeuronReceiverプラグインを有効化します。
NeuronReceiverプラグインのConnectボタンを押します。
Axis Neuronへの接続が成功すると以下のダイアログが表示されます。
接続に失敗すると以下のダイアログが表示されます。Axis Neuronが起動しているか確認してください。起動している場合は、Broadcastingの設定内容を確認してください。
接続直後はモデルが宙に浮いています。
直立時に、NeuronReceiverプラグインのセンター位置リセットボタンを押してください。モデルが接地します。
MMDモデルの体型によっては、移動時に足が滑ったり、しゃがんだときに地面に潜り込むことがあります。NeuronReceiverプラグインのY軸スケール係数とXZ平面スケール係数を調整することで、ある程度改善させることができます。
物理演算を有効化します。
こんな感じで動かすことができます。
ヤバイめっさ楽しい pic.twitter.com/MBzfSeNtGE
— aimino (@minoaimino) 2015, 12月 21
##モーションの記録
はじめに、0フレーム目に足のIKを切った状態をキーフレーム登録しておきます。NeuronReceiverプラグインのRecordボタンを押すと、モーションの記録を開始します。
Stopボタンを押すと、モーションの記録を停止します。
タイムラインにキーフレームが登録されます。キーフレームは全フレームに登録されます。
記録したモーションをMMM上で再生する場合は、NeuronReceiverのプラグインを無効化してから再生してください。また、PCの性能にもよりますが、大量にキーフレームを登録しているためか500～600フレームを超えたあたりからフレームレートが低下し、キーフレーム登録が飛び飛びになってしまうことが確認されています。
##記録したモーションをMMDで使う
VMDフォーマットで保存します。
保存したVMDファイルを、MMDで読み込むことができます。
##記録したモーションをUnityで使う
Noraさん(@Stereoarts)のMMD4Mechanimを使うことで、UnityでMMDモデルやMMDで作成したモーションを使うことができます。MMD4MechanimはStereoarts Homepageからダウンロードすることができます。詳しい使い方はこちらに載っています。
#課題
腰の位置を基準として各ボーンに回転の値をセットしているだけなので、Perception Neuron側とMMM側とでモデルの体型が異なる場合、足先の位置が一致しません。そのため屈伸や前屈のような本来足先が動かない動作で、足先が動いてしまうことがあります。
Axis NeuronとUnityのサンプルとMMMで比較。足先が動いちゃうのどうにかしたいな。。 pic.twitter.com/sSBu6XT3Pb
— aimino (@minoaimino) 2015, 12月 12
また、Axis NeuronとUnity Integrationのサンプルとで比較すると、Unityの方では足先が動いてしまっているので、体型の違い以外にも何か原因があるのかもしれません。(Axis Neuronでは足の接地判定を行って足を固定している？)
Axis NeuronとUnityのサンプルの足の動き比較 pic.twitter.com/rqL33H9D5k
— aimino (@minoaimino) 2015, 12月 11