** フェイストラッキング **
友人からVRoidでARKitのパーフェクトシンクという要望がありました。
これまでフルスクラッチでフェイストラッキングを行っていましたが、VRoidを扱うのは初めてだったのでその手順を記載します。
ツールが整っているので、アイトラッキングやフェイストラッキングに対応しているVR機器があれば容易に行うことができます。SRanipal（HTC VIVE）、FACS Reduced（Quest Pro）、ARKit（iPhone）の記事がいろいろと混じりあっていてスクラッチで作っていても暫くハテナな状態でしたのでここにまとめます。
** VCCでのツールの導入 **
VRCFuryとVRCFT-Jerry's TemplatesとVRM Converter for VRChatをVCCから導入します。
VRCFuryとは日本でよく使われているModular Avatorのようなものです。海外ではよく使われています。
VRCFT-Jerry's Templatesとはフェイストラッキングのアニメーションやアニメータのひな型の集合体です。
VRCFury
https://vrcfury.com/
上記URLよりインストールを行います。
赤枠をクリックし
How to install VRCFury の下の赤枠をクリックするとVCCを開いてインストールするか聞いてくるので指示に従います。
VRCFT-Jerry's Templates
https://adjerry91.github.io/VRCFaceTracking-Templates/
上記URLよりインストールを行います。
赤枠のAdd to VCCをクリックするとVCCを開いてインストールするか聞いてくるので指示に従います。
VRM Converter for VRChat
https://booth.pm/ja/items/1025226
BOOTHにありますが旧バージョンですので、BOOTHの説明にあるようにVCCから追加してください。
VCCを開きます。
作業を行うAvator Projectで、
Marge Projectをクリックします。
先ほどインストールしたVRCFuryとVRCFT-Jerry's TemplatesとVRM Converter for VRChatを⊕を押してプロジェクトに追加します。
** Unityでのソフト導入 **
Projectを開きます。
【HANA_Tool_v4】BlendShapeをコントロールするツール [Japanese ver]（有料）を購入してインストールします。
https://booth.pm/ja/items/2437978
以上でUnityのProjectの準備は完了です。
** VRoid Studio からモデルのエクスポート **
VRoid Studio
VRM形式でVRoidをエクスポートします。
赤枠のようにVRMエクスポートを選びます。
透過メッシュを削除するをOFFにします。エクスポートを押すと、フォーマットの設定があるのでVRM0.0を選択します。
下にスクロールして、
エクスポートを押します。保存先を聞いてきますのでお好みの場所へ保存します。
以上でVRoid Studioの作業は終了です。
** Unityでの作業 **
UnityのProjectを開きます。
先ほど保存したVRMファイルをAssetsの下へドラッグ＆ドロップします。
ドロップしたVRMファイルをHierarchyの中へドラッグ＆ドロップします。
HANA_ToolのReaderを選びます。
Skinned Mesh RendererにVRMプレファブ内のFaceを指定します。
女性アバタの場合は、PerfectSync_VRoid_V1_0_0_Female.txtを選びます。
男性アバタの場合は、PerfectSync_VRoid_V1_0_0_Male.txtです。
Addを押し、続いてRead Blend Shapesを押します。
次にVRMプレファブを選んだ状態で、VRM0からDuplicate and Convert for VRChatを選びます。
メッシュの結合をOFFにして、複製して変換を押します。
ダイアログが出ますのでそのまま保存(S)を押します。
これでVRChat用のアバタが生成されます。
フェイストラッキング用のテンプレート（AdditiveやFX、ExpressionParameter等）を加えます。
ディレクトリのPackage > VRCFT-Jerry's Template > Prefabs から ARKitのものをアバタの中へ配置します。
これでアバタは完成です。
VRChatへアップロードしてください。
** フェイストラッキングOSCソフト VRCFaceTrackingのインストール **
フェイストラッキング機器とアバタ間の通信を行うソフトです。
以下URLよりダウンロードできます。
https://docs.vrcft.io/docs/intro/getting-started
起動し必要なモジュールをダウンロードします。
例えばVIVE Pro EyeならSRanipal Tracking Moduleです。
QuestProならQuestPro OpenXRです。
Installボタンを押してインストールします。
インストールが終わったら一旦VRCFaceTrackingを閉じます。
** 起動 **
ヘッドセットがPCに認識されている状態にします。そのあとにVRCFaceTrackingを起動します。正常にセンサ類を認識すると以下のような画面になります（VIVE Pro Eye ＆ VIVEフェイシャルトラッカー時）
VRChatを起動しアバタがフェイシャルトラックの設定がされている場合、以下赤枠内に対応しているパラメータの数が表示されます。
VRChatでラジアルメニューを出しFace Tracking を選びます。
Lip Tracking と Eye Tracking をオンにします。
これでフェイストラッキングができているはずです。