OVR Lipsync 更新（2019-04-23日版）

Oculus の Avatar SDK と OVR Lipsync にアップデートが来ていたので更新。

• OVR Lipsync 1.36.0（2019/04/23 リリース）
  • OVRLipSyncContextMorphTarget
• VRM 対応
• Avatar SDK
• キャラクターの目線コントロール
• 対応している Unity のバージョン
• Viseme おさらい
  • 作るべきモーフターゲット
    • こちらもどうぞ
• バージョン別 OVR Lipsync 新機能一覧
  • OVR Lipsync 1.16.0
    • 口パクの事前計算、いつの間にか追加されてた。
  • OVR Lipsync 1.28.0
  • OVR Lipsync 1.30.0
  • OVR Lipsync 1.36.0

OVR Lipsync 1.36.0（2019/04/23 リリース）

解析エンジン自体は、相変わらず高音の伸びが怪しい、というか、喋り用のリップシンクなので、音の変化のある瞬間しかとらえてない感じなのは変わらず。。。

VTuber のスクショタイムなどで、「いーーーー」と言って笑顔を作ろうとしても作れず、言い始めた最初だけ口が開いて、その後すぐ閉じちゃうのはこのせいだろうな。

「い、い、い、い、い、い」と言い続けないと笑顔を維持できない地獄は変わらず。

追加でそれ用の処理を実装。

OVRLipSyncContextMorphTarget

OVRLipSyncContextMorphTarget から LateUpdate が（多分）無くなってる？ カスタマイズしやすくなった。

あと、Inspector が便利に。

• Oculus Lipsync Unity | Developer Center | Oculus

VRM 対応

• TsubokuLab/VRMLipSyncContextMorphTarget

※ 以下より。

• 【アーカイブ】VRMモデルをOVRLipSyncに対応させる方法 - Qiita

Avatar SDK

• Introducing Avatar SDK: Expressive Update | Oculus

キャラクターの目線コントロール

Avatar SDK には、口パク以外にも目線コントロールのコンポーネントも入ってる。

アバターに設定されている視野内に入った注視対象物に、自動で目線を送るようになってるっぽい事が書いてあるので、ずーーーっとカメラ目線になっちゃうのが防げそうな感じ。（まだ試してない）

Setting Up Gaze Targets
As an Avatar’s gaze shifts, different gaze targets enter and leave its field of view, and its eyes automatically move between and focus on valid gaze targets. See the “Gaze Modeling” section below for more information on gaze targeting.

• Expressive Features for Avatars - Unity

対応している Unity のバージョン

Recommended Unity Versions
We recommend using one of the following Unity versions for all Oculus development.

• 2017.4.21f1 (Recommended)
• 2018.3.10f1

The minimum supported version for Oculus development is Unity Editor version 2017.4.11f1.

• Compatibility and Version Requirements

Viseme おさらい

• Viseme Reference

作るべきモーフターゲット

T.B.D.

--

こちらもどうぞ

• #VTuber関連まとめ - Qiita

--

バージョン別 OVR Lipsync 新機能一覧

大分古いまま走っていたので、かなり増えてる。

OVR Lipsync 1.16.0

New Features

• Added support for pre-computed visemes.
• Viseme engine improved for Rift to generate smoother and more accurate visemes.

口パクの事前計算、いつの間にか追加されてた。

• Precomputing Visemes to Save CPU Processing in Unity

OVR Lipsync 1.28.0

New Features

• Added a new method for lip sync which has a slower run-time but provides significantly enhanced accuracy and is more robust against non-speaker noise
• Added the ability to switch between the ”Original” and new “Enhanced” lip sync methods
• Usability improvements:
  • Improved Prefabs
  • Tooltips are now available for all UI options
  • No longer consumes keyboard inputs by default

OVR Lipsync 1.30.0

New Features

• Added new beta laughter detection feature under provider: Enhanced_with_Laughter
• Added DSP acceleration option for supported devices
• Added binaries for ARM64 deployment
• Usability improvements:
  • Improved offline lipsync asset generation with progress bar
  • Improved offline lipsync asset generation with support of non-preloaded audio assets
  • Added labels to Viseme to Blend Target lists in UI

OVR Lipsync 1.36.0

• More accurate canned lip sync predictions
• IOS Support