はじめに
この記事はUSBカメラモーションキャプチャーThreeDPoseTrackerのバージョン0.3.0のアップデートについての記事です。ThreeDPoseTrackerってナニ？という方は先に
「USBカメラモーションキャプチャーThreeDPoseTrackerの説明」
https://qiita.com/yukihiko_a/items/43d09db5628334789fab
「ThreeDPoseTracker Ver.0.2アップデート」
https://qiita.com/yukihiko_a/items/e5b07bd045611c73bbbe
をご覧ください。
そのうち記事を一つにまとめます。
この記事ではとりあえず変更点だけ記載しておきます。
※ 最新版はBOOTHからダウンロードできます（無料）。
※iOS版もリリースしました。
詳しくはこちらのページをご覧ください。
Ver.0.3.0について
ダウンロード先
下記URLからダウンロードしてください。
（2022/03/11 Ver.0.5.0をリリースしました。変更点及びダウンロードは下記を参照してください）
https://qiita.com/yukihiko_a/items/234af259aede99ac55ee
更新内容
今回の主な更新内容です。今回は前後移動のバグ修正が主たる目的のリリースです。
- 前バージョンでは、実質的に前後にほとんど移動しないバグがありました。これを修正しました。今回のリリースはこの対応がメインになります。
- リップシンク、自動瞬き（オートブリンク）の追加
- 手首の固定機能の追加
- カメラのコントロール機能の追加・変更
- 背景に部屋の表示を追加
- High Quality Modelの精度向上（数字上は上がってる筈ですが、見た目ではわかりません）
設定画面
リップシンク、自動瞬き機能用にLipSyncタブ、背景の部屋の設定用にRoomタブを追加しました。
###LipSync
ここではリップシンク、自動瞬き（オートブリンク）の設定を行います。VRMのBlendShapeが無いアバターだと動きません。
-
Use Lip Sync
リップシンク機能をオンオフを設定します。 -
マイク選択
使用できるマイクのリストが表示されます。使用するマイクを選択します。前回使用したマイクを覚えていますが、見つからない場合は始めに見つかったマイクを使用します。 -
Smooth Amount
動きのスムーズさ、0～100で設定します。 -
Sensitivity
感度を設定します。０～2の値です。 -
Use Auto Blink
自動瞬きを設定します。 -
Time Blink
瞬きしている時間を設定します。 -
Threshold
次の瞬きを行うかの乱数の閾値。0～1で設定します。小さい程瞬きしやすくなります。1だと瞬きしなくなります。 -
Interval
次の瞬きまでの時間です。指定した時間を中心にランダムで瞬きします。
Room
背景にglTFデータの部屋「The Charterhouse Great Chamber」の表示の設定をします。
このデータは、
「The Charterhouse Great Chamber」
David Fletcher (@artfletch)さん
のデータを使用させて頂いています。
-
Show Room
背景に部屋を表示するかどうかを設定します。 -
Position、Rotation、Scale
部屋の表示位置を調整します -
Receive Shadow
床に影を表示するかを設定します。 -
Use Ground IK
床への足付きを設定します。テストコードなので使わないでください。使用するアバターを選択後この機能をオンにすると機能するかも知れません。アバターを切り替えると動作がおかしくなることがあります。テストコードなので、起動時にオンになる事はありません。 -
IK Position weight
IKのききを設定します。0.2～0.3程度で十分です。 -
Leg Position weight
基本、0のままでいいです。 -
Height Offset
足の高さを設定します。靴底の厚みと考えるとわかりやすです。
Predict
- Lock Hand
手首を固定する機能を追加しました。オンにすると固定されます。常時オンにするよりも、アバターのロードが終わってTポーズになってからオンにした方がよさそうです。
カメラコントロール
メニューの「Close Menu」でメニューを非表示にするとマウスとキーボードでカメラをコントロールすることができます。
非表示にしたメニューは、「ESC」、「スペース」キーで再表示されます。これらの機能は以前から少しはありましたが、今回のタイミングで整理しました。
| Key | 動作 |
|---|---|
| 1 | デフォルトのカメラ位置 |
| 2 | アバター左側からのアップ |
| 3 | アバター右側からのアップ |
| 4 | 正面からのアップ |
| 5 | 左回りに自動で回転・停止 |
| 6 | 右回りに自動で回転・停止 |
| w | 前進 |
| s | 後進 |
| a | 左に移動 |
| d | 右に移動 |
| z | 右に回転 |
| c | 右に回転 |
| q | 下に移動 |
| e | 上に移動 |
| p | アバター変更 |
| 左クリック | アバター中心に回転 |
| 右クリック | カメラ中心に回転 |
| ホイール回転 | 前後移動 |
| ホイールクリック | 平行移動 |
最後に
今回は臨時のリリースだったのであまり大きな機能追加はありません。そうは言っても、今後もそんなに大きな追加をする予定もないですが。とりあえず今回は一部屋固定でglTFデータを使用しましたが、自分としては読み込み機能が欲しいのと、PC上で別のアプリの画面のキャプチャ機能とくにパワポの画面の取り込み機能を追加したいと思ってます。これは、「2020/08/31 xR Developers Community Conference」の登壇で使用した機能ですが、突貫でこの登壇専用に作った物なのでもっと汎用的に使いたいなと、いう事で次のリリースは製作者の私用の機能になる予定です。ちなみに登壇で使用したglTFデータと今回のお部屋とは違うデータです。
以下は前回のコピーです。
ちなみにこのアプリのソースは下記のリポジトリにあります（準備中）。コードのライセンスはGithubに書いてあるライセンスに従ってください。姿勢推定でのお仕事もしているので全て無料とはいかないのです。機能追加して商用で使いたいという方はライセンスを購入いただくかお仕事の依頼を下さい。どうしても無料で機能追加して商用利用したいという方は、このアプリ版は無料で通すつもりなので、マージの依頼なりプルリクなりを頂ければ、そのうちアプリに追加してリリースするかも知れません（保証はしません）。
Licence
このThreeDPoseTrackerの実行ファイルについては営利・非営利問わずご自由にお使いください。この実行ファイルを使用した配信、モーションデータも同様にご自由に利用可能です。
GithubにあるソースコードについてはGithubにあるライセンスに従ってください。
免責事項
本ソフトウエアの使用に起因する、ソフトウエア、ハードウエア上の事故その他の損害、または使用できなかったことから生じる一切の損害に関して、製作者はいかなる責任も負わず、修正する義務を負いません。