18
10

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

VTuber Tech #1Advent Calendar 2018

Day 20

[iOSでも動く] SALSAでバーチャルYouTuber向けのリップシンクを導入する方法

Last updated at Posted at 2018-12-25

はじめに

この記事はVTuber Tech #1 Advent Calendar 2018 20日目の代理投稿です。昨日は @welchi さんによるTensorflow.jsによるActionRecognitionでUnityのゲームキャラクターを動かしてみるでした。

バーチャルYouTuber(以下VTuber)の配信システムでリップシンク(口パク)を作る時、もはや定番といえるOVRLipSyncですが、実はiOSに対応していないという弱点があります。

そこで今回は、iOSでリップシンクを実装する方法を考えつつ、手軽に導入できるSALSAの使い方を紹介しようと思います。(blendshapeのみに対応です)

Dec-26-2018 13-23-42.gif
使用モデル: リリカ / Lyrica / 標準ver - VRoid Hub

ちなみにリップシンクという言葉を整理しておくと、大きく「開閉するもの(0-1)」と「口形素(aa,E,ih,oh,ouなど)を区別するもの」の2種類があります。また、ゲームの文脈だと音声は事前収録されたものを使いますが、VTuber文脈ではリアルタイムのマイク入力を指すことが多いと思います。

iOSでリップシンクを実装する方法

顔認識を使う方法

イレギュラーですが、マイク入力でなくカメラ画像からリップシンクをさせる方法です。
iOSだとARKitのFaceTrackingが使えますし(iOSバージョン要確認)、dlibなどの顔認識アセットも配布されています。

OVRLipSyncを使う方法

1.30(2018.12.26時点)では未対応ですが、今後対応予定があるそうです。
OVRLipSyncは15種類の口形素を取得することが出来るので、リッチな口パク表現をすることが出来ます。
もしiOSに対応したらかなり有力な候補になるような気がします。

音量を使う方法

マイク音量を正規化して、直接口の開閉に割り当てるパターンです。1番シンプルですが、配信において考慮すべきことが出てきたりするので、結果ライブラリ使ったほうが早いのでは?ってなりそうな気がします。

実装は以下の記事のコードが参考になると思います。
【初心者向け】UnityとLive2Dで拡張しやすいVTuber配信システムを作る方法

SALSAを使う方法

SALSA With RandomEyes
2018.12.26時点で$35でした。

SALSAは"Simple Automated Lip Sync Approximation"の略で、その名の通りシンプルなLipSyncアセットです。
取得できる値は音量だけなのですが、上記の方法をラップした感じだと思います。スムージングとか(多分)エラー処理とかをしてくれているので、手軽にそれっぽいリップシンクが実現出来る方法だと思います。

Windows, Mac, Linux, Android, IOS, Windows Store UWP (8 & 10 .NET Core), WP8, and WP10. WebGL is supported

サポートしてるプラットフォームがすごい。欠点としては、コアのコードがdll化されているので困った時に中身をいじれないこと(OVRLipSyncもそうですが)と、日本語の情報が少ないことです。あとマイク入力を使う時は別途アセットを入手する必要があるなど少しだけややこしいです。

SALSAでVTuber向けのリップシンクを導入する方法

以下の動画の手順通りにやっていけば良いだけなのですが、英語でとっつきにくいと思うので日本語で紹介していきます。

まずはBlendShapeが入ったモデルを含むUnityプロジェクトを用意してください。VRMでも大丈夫です。SALSAをインポートしておいてください。

次にマイク入力用のアセットを取得します。以下のリンクにアクセスし、Donwload Filesというボタンを押してください。
http://crazyminnowstudio.com/posts/real-time-microphone-input-for-salsa-lip-sync/#Download

購入した時のメールアドレスと番号を求められます。番号はUnityのOrder numberに該当するので、メールフォルダを検索すると出てくると思います。
スクリーンショット 2018-12-26 3.33.07.png

認証が通ったらDLページに進みます。

MicInput-Liteを探してダウンロードしてください。なお2018.12.26時点ではv1.6.0(安定版)とv1.7.0(β版)がありました。v1.7.0は遅延が10倍以上少ないそうです。お好みで。

UnityPackageが落ちてくるので、プロジェクトにインポートします。

Mixerを作ります。Projectorビューで右クリックをして、Create > Audio Mixerから作成できます。
ダブルクリックするとAudioMixerビューが開くので、下記のように編集してください。

スクリーンショット 2018-12-26 3.42.14.png

上記が面倒くさい人のために、設定済みのMixerを.unitypackageで配布します。ご活用ください。
https://drive.google.com/open?id=19BNw8pOEzx4pX27vpiYm5VbvtvwDQJJR

さて、もう少しです。
シーンにある3Dモデルを選択してください。AddComponentからCrazy Minnow Studio > SALSA > Salsa 3Dを選択してください。検索でもいけます。

次にマイクを付けます。AddComponentからCrazy Minnow Studio > SALSA > addons > micinputを選択してください。CM_Mic Inputというコンポーネントがアタッチされます。

AudioSourceに自身を設定してください。また必要であればAvailable Microphonesから利用したいマイク入力を選択してください。

スクリーンショット 2018-12-26 3.50.14.png

AudioSourceのOutPutにmicInputを設定してください。右側の○から探すと楽です。

スクリーンショット 2018-12-26 3.48.33.png

Salsa 3DSkinned Mesh Renderに顔のBlendShapeを設定してください。
下のSaySmall Index, SayMedium Index, SayLarge Indexが選択可能になります。小さい音の時、普通の音の時、大きな音の時という意味で、シーケンシャルです。

スクリーンショット 2018-12-26 3.52.40.png

先人によると以下のようにするとオススメらしいです。ただ僕が試した感じだとモデルに寄りそうので、色々調整してみてください。

あとBlendSpeedはデフォルト10なのですが、緩慢な動きはVTuberに合わないと思うので、20くらいに設定するといい感じだと思います。あとRange of Mosionはどのくらい口を大げさに開閉するかのパラメータなので、必要なら調整してください。こちらのAliciaモデルは100で大丈夫そうですが、記事先頭にあるVRoidのモデルは70くらいに設定してあります。

この状態で再生すると、こんな感じで口パクすると思います。

Dec-26-2018 03-58-52.gif

僕が試してみたところ、「oh, E, aa」でもいい感じだと思います。

Dec-26-2018 04-01-55.gif

結構印象変わるので、やっぱりここだけは調整してみてください。

まとめ

使ってみたら意外とそれっぽく動いて良かったです。SALSAはいいぞ!

VTuber Tech #1 Advent Calendar 2018 21日目は @segur さんによるVRoidのウィンドウを透過させてトレースモデリングするです。

関連

18
10
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
18
10

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?