低スペックPCでVtuberになるいくつかの方法

はじめに

なかじ氏（@nkjzm）のVtuberハンズオンに参加してしばらく、ノートPCのWebカメラで手軽にVtuberになる方法を調査したり実装したりしていました。
この記事では、それらを導入するための学習リソースを、メリットとデメリットと共にまとめました。

Vtuberを始める方法

事前準備

Vtuberを始めるには、以下の２つのアプリが必要です。

1. 表情や体の動きをモデルに同期させるアプリ
2. ライブ映像を収録・配信するアプリ

この記事では主に、1.のアプリの特徴についてまとめます。
（ライブ配信やUnityを未経験の方は、先にこちら等で入門するのがオススメです）

1. 表情や体の動きをモデルに同期させるアプリ

方法①: 「FaceRig」を使う

商用ソフトウェアである「FaceRig」を利用する方法です。
導入コストが低かったためか、このアプリを使う方法がこれまで最もスタンダードな手法でした。

実装例

Vtuberテスト①: FaceRig
　ノートPCのスペックだと、FaceRigが一番安定する。 pic.twitter.com/RPjo7YXMTh

— Hirosaji (@hirosaji) 2018年3月25日

PC: Surface Pro 4
OS: Windows 8.1
（※モデルはAgate氏のアライさんをお借りしました）

メリット

• 価格が安い（¥1,480）
• 導入コストが低い（DL後すぐに始められる）
• 高いパフォーマンスが得やすい（高スペックPCでなくても、高FPSが安定する）

デメリット

• 対応OSがWindowsのみ
• 3Dモデルの読込形式がCOLLADA(.dae)のみ
• 商業利用に制約がある（Pro版やStudio版が必要）
• 機能拡張ができない

学習リソース

・お手軽にはじめるバーチャルYouTuber(VTuber)になる方法
・FaceRigを使って配信と自作Live2Dモデル使用
・【Facerig/Live2D】使い方とバーチャルYoutuberになる方法

方法②: 「OpenCV」と「Dlib」を使う

Unityで表情認識などの画像処理ができるAsset「OpenCV」「Dlib」を活用したアプリを作成・利用する方法です。

実装例

Vtuberテスト②: OpenCV + Dlib
　ラグが酷い...。最適化か高スペックPCが必要だ...。 pic.twitter.com/P6B7Dn8VDk

— Hirosaji (@hirosaji) 2018年3月25日

PC: MacBook Air (13インチ, 2017)
OS: macOS High Sierra
プラットフォーム: Unity 2017.3.1
（※モデルは醤油せんべい氏(@showyousenbei)の鹿島さんをお借りしました）

メリット

• 人やモデルに合わせてパラメータを調整できる
• マルチプラットフォーム対応（デスクトップ, モバイル, Web）
• 画像処理系の機能が拡張しやすい
  • エラー画面や情動的な画像の検出とモザイク処理
  • SNS映えする画面の検出と自動投稿
  • 顕著性マップを利用した文章(説明文等)や画像(広告等)の生成・分析
  • など...

デメリット

• 価格が少し高い（OpenCV($95), Dlib($40)）
• 高スペックPCや高い最適化技術が必要

学習リソース

• FaceRig無しでも中の人(二次元)になりたい！【Unity × OpenCV × Dlib × Live2D】
• iPhoneXがなくてもアニ文字したいんだ！ 【Unity×OpenCV×Dlib】
• UnityとOpenCVとDlibとARでユニティちゃんになってみた facetracking 2018

方法③: 「Face Tracking with ARKit」を使う

iPhoneXと親和性の高いことで注目される「Face Tracking with ARKit」を活用したアプリを作成・利用する方法です。
ちなみに、最近注目を集めるバーチャルライバーが使う「にじさんじ」にも、この技術が使われているようです。

実装例

iPhone X+ARKit+Live2Dがどんな感じに動くかのサンプル
(音声はPCで再生してるやつを録音したもの)
まだ表情のパラメーターは弄りがいがある感じ pic.twitter.com/xNQZcQhsTY

— みっきー＠SHT晴風14 (@mzyy94) 2017年11月16日

メリット

• 価格が無料
• 人やモデルに合わせてパラメータが調整できる
• 既に複数のプラットフォーム(Unity, Xcode)で開発報告がある
• Unityならマルチプラットフォーム対応（デスクトップ, モバイル, Web）
• AR, VR系の機能が拡張しやすい

デメリット

• iPhoneXなどのデプスカメラが必要
• 高スペックPCや高い最適化技術が必要

学習リソース

• Unity ARKit PluginのFace Trackingを使ってみる
• 【Unity】ARKitのFaceTrackingでユニティちゃんに変身する
• iPhoneX で Face Tracking with ARKit を実装する
• ARKit の Face Tracking で顔にマスクをつける for iPhone X - 実践編

方法④: 「Intel® RealSense™ SDK」を使う

Intelのデプスカメラに特化した「Intel® RealSense™ SDK」を活用したアプリを作成・利用する方法です。

実装例

Unityちゃん表情追加確認です。 pic.twitter.com/UnKmy9Syar

— 琴葉 葵（偽） (@Hv2RMjHzDyqXVIr) 2017年7月17日

メリット

• 人やモデルに合わせてパラメータを調整できる
• Unityならマルチプラットフォーム対応（デスクトップ, モバイル, Web）
• 表情だけでなく、手や指の動きも同期できる

デメリット

• 対応OSがWindowsのみ（librealsenseを使えばMacでも可？）
• 全機能を使うには専用のカメラ(Intel® RealSense™ Depth Camera)が必要（参考）

学習リソース

• MMD形式キャラクターモデルの表情・頭・位置をウェブカメラで動かす
• RealsenseSDKとWEBカメラでキャラクターになりきる
• RealsenseSDKとWEBカメラでキャラクターになりきる(Live2D編)

方法⑤: 「FaceVTuber」を使う

彗星の如く現れた、超お手軽Webアプリ「FaceVTuber」を利用した方法です。

実装例

Vtuberテスト③: FaceVTuber
　解像度は低いけど、無料で手軽で高パフォーマンス。 pic.twitter.com/n72NrQ6ZV2

— Hirosaji (@hirosaji) 2018年3月25日

PC: MacBook Air (13インチ, 2017)
OS: macOS High Sierra
ブラウザ: Google Chrome
（※モデルはキズナアイさんをお借りしました）

メリット

• 価格が無料（2018年3月現在）
• 導入コストが低い（モデルのアップロード後すぐに始められる）
• 高いパフォーマンスが得やすい（高スペックPCでなくても、高FPSが安定する）
• 3Dモデルが利用可能（MMD形式）

デメリット

• 解像度が低い ※少しずつ改善されています（ソース）
• 機能拡張ができない
• 動作環境がWebブラウザに限られる

学習リソース

• FaceVTuber
• 誰でも簡単にバーチャルユーチューバー！FaceVTuberとdynamic import

2. ライブ映像を収録・配信するアプリ

OBSというフリーソフトを使うのがおそらく主流です。
非常に高機能なフリーソフトなので、特別高度な加工が必要でない限りは、このアプリを使うと良いでしょう。

• OBSのダウンロードページ
• OBSの詳しい使い方

実装例

これらアプリを組み合わせれば、簡単にVtuber動画を作ることができます。

試しにゲーム実況Vtuberを作ってみる。 pic.twitter.com/LTShP1Vi4b

— Hirosaji (@hirosaji) 2018年3月25日

#（ライブ配信やUnityを未経験の場合）
「はじめに」で書いたVtuberハンズオンの発表資料で一度、導入から配信までの流れに触れておくのがオススメです。
全体の流れを把握できるほか、UnityやOBSなどの代表的なツールの連携を体感することができます。

初めて作ったVtuber。
（https://t.co/LggymLNizgより） pic.twitter.com/gRDkRa6JFd

— Hirosaji (@hirosaji) 2018年3月25日

↑ハンズオン資料だけで、こんなVtuberが作れます。
（Webカメラは使わず、入力音声と同期して口を動かすLipSync機能を活用）

まとめ

この記事では、一般のノート型のような低スペックPCでVtuberになる方法をまとめました。
表にすると、各特徴はこんな感じです。

	FaceRig	OpenCV + Dlib	ARKit	RealSense SDK	FaceVTuber
動作環境	PC(Winのみ)	PC/モバイル/Web	PC/モバイル/Web	PC/モバイル/Web	Web
開発環境	-	Win/Mac	Win/Mac	Win(/Mac)	-
対応モデル	3D(.dae)/2D	3D/2D	3D/2D	3D/2D	3D(.pmx)
導入コスト	低	高	高	高	低
解像度	高	高	高	高	中
価格	¥1,480	$95+$40	無料	無料（専用カメラは有料）	無料
拡張性	-	高	高	高	-
動作部位	顔	顔	顔	顔/手	顔
表情の変更	可	可	可	可	不可

あまり機能や解像度を欲張らなければ、低スペックPCでも、一般公開されているモデルを使って手軽にVtuberを始めることができそうです。