Help us understand the problem. What is going on with this article?

顔認識精度がやばい「VUP」日本語非公式マニュアル

目次

1.はじめに
2.インストールと起動
3.画面の説明
4.キャラクター選択と追加
5.フェイスチャンネルマッピング
6.顔認識の設定
7.ソフト全般の設定
8.モーションのショートカットキー登録
9.運用
10.追記事項
11.終わりに

1. はじめに

この記事は顔認識精度が異常に高いフェイストラッキングソフト「VUP」の導入から初期設定、運用までのマニュアルです。
最近話題になっている「VTube Studio」とは異なり、最新型のスマートフォン等は必要なく、Webカメラのみで気軽に3DモデルやLive2Dを動かすことができます。また無料でダウンロードできるため、VTuberを試しに動かしてみたい人にも最適です。


※上記は自分のツイートより抜粋

対応機材
顔認識:Webカメラ、Android
全身認識:Noitom,Xsens,FoHeart,光学,IKINEMAOrion,Kinect
上半身認識:HTCVR、RealSense
手認識:Leapmotion,Hi5

今回は最初の導入及び試験運用ができる状態まで行くことを目標にしているため、ほとんどの人が使うであろう重要項目のみに絞って説明しています。

※2020/07/29にアップデートが入り、日本語対応になりました。英語版でマニュアルは進んでいきますが、日本語の方がやりやすい方は一番最初の起動画面の上部にあるEnglishを日本語に変更、後述するソフト全般の設定のLanguageを日本語に設定してください。

これを見ている企業勢のスタッフの方はご連絡ください。この記事は基本的には個人勢が気軽に始められるように書いているため、企業による運用や機材に関しては個別にTwitterにて対応させていただきます。

2. インストールと起動

Steamにて「VUP」と検索or以下URLにアクセス
https://store.steampowered.com/app/1207050/VUPVTuber_Maker_Animation_MMDLive2D__facial_capture/#app_reviews_hash

起動するとログイン画面が起動するのでSign upを選択。

アカウント名(ログイン時使用),セーフコード(数字のみ),ニックネーム,パスワードを入力する。

作成したら最初の画面に戻り、アカウント名とパスワードを入力してログインを押す。ここの画面は固まりやすいので注意。
利用規約についてはコピペができないため、ここから各自翻訳し同意にチェックをすること。

3. 画面の説明

設定ウインドウと表示ウインドウの二つで構成されている。

設定ウインドウは
左から
・ブロードキャスト
・ショートカットキー
・キャラクター
・シーン
・カメラ
の五つの項目がある。
設定ウインドウの一番左にあるバーの項目をクリックすると畳むことができる。
今回はショートカットキーとシーンとカメラを畳み、ブロードキャスト、キャラクターの二つにしておく。

4. キャラクター選択と追加

Characterタブの一番上の+を押し、該当ファイルを読み込む。Live2Dならmodel3.json、3Dモデルならvrm
読み込み後、キャラクター欄に追加されているのでダブルクリック。

しばらく経つと表示ウインドウに適用される。
※注意!
Live2Dはmoc3形式のみ対応という報告があったため、うまくいかなかったら形式を確認すること。

5. フェイスチャンネルマッピング

3D勢のみ必須。2D勢は不要。
キャラクタータブで、使いたいキャラクターにカーソルをあわせると右下に顔マークが出てくる。
これをクリックすると表情の調整ができる。

Auto blink channel
Auto look camera channel
Surface capture channel
Sound capture channel
の四つのグループがある。今回はSurface capture channelを編集する。

デフォルトのVRoidが対応している表情を抜き出すと以下の三つ。
Closure of right eye 右目を閉じる
closure of left eye  左目を閉じる
Open mouth  口を開ける

この三つに対応した表情を当てはめる。NULLの部分をクリックして
Closure of right eye →Face.M_中略EYE_Joy_L
closure of left eye  →Face.M
中略EYE_Joy_R
Open mouth  →Face.M
中略_Fcl_MTH_A
に変更する。
この時表示ウインドウに見本と使っているモデルの比較があるので、同じ表情になっているか確認すること。

下記はシェイプキー設定について具体的に解説した記事。
シェイプキー設定リスト

6. 顔認識の設定

(2D、3Dともに必要)
ブロードキャストタブのCamera Face Capという部分をONにして各種設定を変更する。

今回は一番重要なCamera Face Capのみ説明をここに載せる。

    Eye smooth val          滑らかさ
    Eye enlargement         目の開閉に対する感度。上げるほど目をつぶっている判定が出やすくなる
    Mouth smooth val        滑らかさ
    Mouth enlargement       口の大きさ。大きいほど口を大きく開ける
    Eyebrows smooth val     滑らかさ
    Eyebrows enlarged       入力感度
    Show mask               トラッキング確認画面を二次元アバターで隠すか
    Mirror                  鏡映し状態にするか(デフォルトはON)
    Head rotation           顔を動かす
        Rotation            回転感度
        Smooth val          滑らかさ
        Offset              初期位置の角度
        Axismapping         回転軸の変更
    Upper body spin         上半身の動き
        Rotation amplitude  感度
        Smoothval           滑らかさ
        Offset              初期位置の角度
        Axis mapping        回転軸の変更
    LowerBody Sway          傾けに応じて下半身が動くか

7. ソフト全般の設定

Broadcastタブの一番下のSystem settingの部分にある。
日本語に変えたい人はここで日本語に変えること。

以下設定項目

Render quality          出力の画質 Nondestructiveが一番高い
Language                言語
Move mode               
Mouse sensitivility     マウス感度
Background shortcuts
Display window top      VUPのウインドウを常に一番上にする
Display mirror image    左右反対に表示する

8. モーションのショートカットキー登録

手を振る、御辞儀をするといったモーションはキャラクタータブのAction項目をクリックすると行うことができる。

毎回ここを押すのは実用的ではないため、ショートカットキー登録を行う。
項目の赤枠を押すとアルファベットの組み合わせを指定することができるようになる。ここに好きな組み合わせを記入する。

今回はAとBを登録した。これでAとBを押すと指定したモーションが実行されるようになる。
自分で登録した組み合わせはショートカットキータブで確認できる。

9. 運用


設定ウインドウの左バーからシーンを選択、畳んでいたシーンをもう一度だし、シーンタブのグリーンバックを選択。
OBSにて「ゲームキャプチャ」を選択、クロマキーでグリーンバックを抜く。
※ウインドウキャプチャだと最小化した時にトラッキングが止まる模様、ゲームキャプチャに必ずしておくこと。
またPendant機能を使うことでグリーンバックにせず直接表示させることも可能

BroadCastタブのPendantをオンにし、各種設定を自分好みに変える。以下設定項目

Pendant             アバターの透過表示
    Pendant size        サイズ
    LockPos             位置を固定
    Show background     背景の表示
    Show border         ウインドウの縁取り
    Show other people   2キャラ以上の表示?

また仮想カメラ機能を用いることも可能。

赤枠のインストールを選択後、OBSであれば「映像キャプチャデバイス」から「UnityCam」、Discordの場合は「ビデオ」を「UnityCam」にすること。下記はOBSの例。

LeapMotionを使ったハンドトラッキング、全身トラッキング、Androidでのフェイストラッキング等、本格的に運用したい人で、どんな機材が使えるか等が気になる人はこれを参考のこと。

Unityで制作したワールドを背景として使用したい場合はこの記事を参考にすること。

10. 追記事項

キャラクタータブにあるクラウド化ボタンについて

下記画像の赤枠にあるクラウド化ボタンを押すと「本」から「云」になる。
2020-06-11 (1).png
「云」状態だとクラウドマークがペンマークに変わる。
ここでクラウド化の設定ができる。
2020-06-11 (4).png
ここでPublicをONにすると全ソフトでそのアバターが使用可能になってしまうため注意すること。

このソフトが一部不適切アバターがあるのはユーザーが自由にパブリックにできてしまうためだと予想される。

うまくモデルが動かない時の確認事項

フェイシャルマッピングの設定では似ている事項が少なくない。例えば顔認識によるまばたきがうまくいかない時は本当に適切な場所に設定しているかを確認すること。
2020-06-13 (5).png
上記画像は自動まばたきの設定である。ここを設定しても顔認識の設定は変わらない。
もしもまばたきやその他顔のトラッキングの設定をしたい場合は[surface capture channel]の設定を弄ること。
今回のまばたきの設定の場合は下記画像の部分である。
2020-06-13 (4).png

11. 終わりに

余計なことはそんなに呟かないので是非Twitterをフォローして動向をチェックしてくれると嬉しいです。

協力
モデル提供:雑煮さん

sald_ra
元VTuber運営、映像制作、サイト制作等。VTuberChecker運営。21卒で就活中。
https://twitter.com/sald_ra
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした