More than 3 years have passed since last update.

Zoomでバ美肉発表したい！(macOS)

Last updated at 2021-02-20Posted at 2021-02-20

macOSだけど自作のVRモデルでバ美肉したい人向けの覚え書きです。
声も合わせて変えるように設定します。
全て無料で出来ます。
大体はこのページの最後に書いてあるサイトを参照して作りましたが、自分でトラブルシューティングしたものやメモ等を書きます。
初めてのQiitaなので、間違っていることがあったら教えてください！

環境

MacBook Pro(Catalina)

1. モデルを作る

VRoid Stadioをインストールします。
https://vroid.com/studio/

起動直後のアバターを選ぶ画面で右上のLanguageを日本語に変えてください。
モデルを作る際、0から作るのもいいですが、初めて作る方は自作キャラのイメージに近い髪型の子をサンプルモデルとして選ぶといいと思います。

macの性能次第で後手の手順でつまづく可能性があるので、ここで一旦サンプルモデルをダウンロードしましょう。

上部右の撮影・エクスポートタブから
エクスポートを選択して.vrm形式で保存するか、VRoid Hubにアップロードする(非公開設定可)方法があります。
私はVRoid Hubにアップロードしました。その方が3teneで使用する際若干楽なので特に問題なければその方がいいと思います。
pixivのアカウントが必要なので、未登録の人は登録してください。
ログインしてもモデリングの上でさほど問題はないので、プライベート用の人もそのまま使用して大丈夫だと思います。

2. リップシンクする

モデルを読み込んで、3teneでリップシンクさせます。
以下のサイトでダウンロードしてください。
https://3tene.com/free/
ダウンロード後はアプリケーションフォルダに移動すると扱いやすいかもしれません。

左側のバーの上から4番目にあるこのアイコンをクリックして.vrmファイルを選ぶか、VRoid Hubにアクセスしてください。

VRoidHubから抽出する場合

ブラウザを起動するを選択するとサイトが立ち上がるので待ってください。表示された認可コードをブラウザからコピーして3teneのテキストフィールドにペーストします。アクセス権については自作したものなら同意で大丈夫だと思います。

ファイルから選ぶ場合

＋のアイコンをクリックして先ほど保存した.vrmの拡張子のファイルを選択して開きます。

このアイコンでリップシンクをオンにします。手持ちのMacBookAirだとここをオンにすると落ちてしまうのですが、改善策があれば教えてください。
(追記:MacBookAirで外部ウェブカメラだと使える場合もあるそうです。再インストールも試してみてください。)
MacBookProだと問題なく使えました。

トラッキングの開始はこの状態にしてください。

リップシンク種類は顔認識がデフォだと思いますが、もし違ったらここで変えておいてください。

デフォルトの状態だと反転してしまっていると思うので、顔のフェイストラッキング(全般)で映り方をシンクロから鏡に変更しておいてください。

リップシンクとフェイストラッキングをオンにした後は、変な方向を向いていると思うので、必ずこのボタンを押してください。

この後他の画面と重ねてモデルを使うのでこのアイコンで背景を緑にしておいてください。

背景変更->色指定->緑

モデルの設定はこれで完成です。

3. 仮想カメラに出力する

今回使用するOBS Studioはこちらのサイトでインストールしてください。
https://obsproject.com/

OBSの設定です。OBSを起動するとポップアップウィンドウで配信か否か聞かれますが、閉じてしまって大丈夫です。

ソースのところを右クリックしてウィンドウキャプチャを選択します。
新規作成を選択し、空の名前でウィンドウを表示にチェックを入れて

3teneFREE_betaウィンドウを選択します。ここで画面収録をセキュリティに求められるので、macのシステム環境設定->セキュリティーとプライバシー->プライバシー->画面収録->OBSにチェックです。鍵を外して設定変更し、OBSを再起動します。

次に、同じようにウィンドウキャプチャを選択し、モデルと重ねたい画面を選びます。ここで選びたいウィンドウが出てこない場合は、該当ウィンドウが最大化・最小化されていないか確認してください。

選択ウィンドウが表示されたら、同じ手順で3teneのウィンドウを選択します。
ウィンドウのトリミングはoption+ドラッグでできます。
トリミングしたモデルのレイヤーを右クリックして、フィルタを選択します。

下から二番目です。

エフェクトフィルタのクロマキーを選択すると、人物だけ抽出されます。

zoomを始める前に、

仮想カメラ開始を選択します。
26.1より前のバージョンだと、仮想カメラを別でインストールする必要がありましたが、現在(2021年1月)のバージョンだとこのボタン一つで仮想カメラが作動します。必ずzoomに入る前に行ってください。入った後だとこの仮想カメラが認識されない可能性があります。