Live2D
Vtuber

低スペックPCでVtuberになるいくつかの方法


はじめに

なかじ氏(@nkjzm)のVtuberハンズオンに参加してしばらく、ノートPCのWebカメラで手軽にVtuberになる方法を調査したり実装したりしていました。

この記事では、それらを導入するための学習リソースを、メリットとデメリットと共にまとめました。


Vtuberを始める方法


事前準備

Vtuberを始めるには、以下の2つのアプリが必要です。


  1. 表情や体の動きをモデルに同期させるアプリ

  2. ライブ映像を収録・配信するアプリ

この記事では主に、1.のアプリの特徴についてまとめます。

(ライブ配信やUnityを未経験の方は、先にこちら等で入門するのがオススメです)


1. 表情や体の動きをモデルに同期させるアプリ


方法①: 「FaceRig」を使う

商用ソフトウェアである「FaceRig」を利用する方法です。

導入コストが低かったためか、このアプリを使う方法がこれまで最もスタンダードな手法でした。


実装例

PC: Surface Pro 4

OS: Windows 8.1

(※モデルはAgate氏のアライさんをお借りしました)


メリット


  • 価格が安い(¥1,480)

  • 導入コストが低い(DL後すぐに始められる)

  • 高いパフォーマンスが得やすい(高スペックPCでなくても、高FPSが安定する)


デメリット


  • 対応OSがWindowsのみ

  • 3Dモデルの読込形式がCOLLADA(.dae)のみ

  • 商業利用に制約がある(Pro版Studio版が必要)

  • 機能拡張ができない


学習リソース

お手軽にはじめるバーチャルYouTuber(VTuber)になる方法

FaceRigを使って配信と自作Live2Dモデル使用

【Facerig/Live2D】使い方とバーチャルYoutuberになる方法


方法②: 「OpenCV」と「Dlib」を使う

Unityで表情認識などの画像処理ができるAsset「OpenCV」「Dlib」を活用したアプリを作成・利用する方法です。


実装例

PC: MacBook Air (13インチ, 2017)

OS: macOS High Sierra

プラットフォーム: Unity 2017.3.1

(※モデルは醤油せんべい氏(@showyousenbei)の鹿島さんをお借りしました)


メリット


  • 人やモデルに合わせてパラメータを調整できる

  • マルチプラットフォーム対応(デスクトップ, モバイル, Web)

  • 画像処理系の機能が拡張しやすい


    • エラー画面や情動的な画像の検出とモザイク処理

    • SNS映えする画面の検出と自動投稿

    • 顕著性マップを利用した文章(説明文等)や画像(広告等)の生成・分析

    • など...




デメリット


  • 価格が少し高い(OpenCV(\$95), Dlib(\$40))

  • 高スペックPCや高い最適化技術が必要


学習リソース


方法③: 「Face Tracking with ARKit」を使う

iPhoneXと親和性の高いことで注目される「Face Tracking with ARKit」を活用したアプリを作成・利用する方法です。

ちなみに、最近注目を集めるバーチャルライバーが使う「にじさんじ」にも、この技術が使われているようです。


実装例


メリット


  • 価格が無料

  • 人やモデルに合わせてパラメータが調整できる

  • 既に複数のプラットフォーム(Unity, Xcode)で開発報告がある

  • Unityならマルチプラットフォーム対応(デスクトップ, モバイル, Web)

  • AR, VR系の機能が拡張しやすい


デメリット


  • iPhoneXなどのデプスカメラが必要

  • 高スペックPCや高い最適化技術が必要


学習リソース


方法④: 「Intel® RealSense™ SDK」を使う

Intelのデプスカメラに特化した「Intel® RealSense™ SDK」を活用したアプリを作成・利用する方法です。


実装例


メリット


  • 人やモデルに合わせてパラメータを調整できる

  • Unityならマルチプラットフォーム対応(デスクトップ, モバイル, Web)

  • 表情だけでなく、手や指の動きも同期できる


デメリット


  • 対応OSがWindowsのみ(librealsenseを使えばMacでも可?)

  • 全機能を使うには専用のカメラ(Intel® RealSense™ Depth Camera)が必要(参考


学習リソース


方法⑤: 「FaceVTuber」を使う

彗星の如く現れた、超お手軽Webアプリ「FaceVTuber」を利用した方法です。


実装例

PC: MacBook Air (13インチ, 2017)

OS: macOS High Sierra

ブラウザ: Google Chrome

(※モデルはキズナアイさんをお借りしました)


メリット


  • 価格が無料(2018年3月現在)

  • 導入コストが低い(モデルのアップロード後すぐに始められる)

  • 高いパフォーマンスが得やすい(高スペックPCでなくても、高FPSが安定する)

  • 3Dモデルが利用可能(MMD形式)


デメリット



  • 解像度が低い ※少しずつ改善されています(ソース

  • 機能拡張ができない

  • 動作環境がWebブラウザに限られる


学習リソース


2. ライブ映像を収録・配信するアプリ

OBSというフリーソフトを使うのがおそらく主流です。

非常に高機能なフリーソフトなので、特別高度な加工が必要でない限りは、このアプリを使うと良いでしょう。


実装例

これらアプリを組み合わせれば、簡単にVtuber動画を作ることができます。



(ライブ配信やUnityを未経験の場合)

「はじめに」で書いたVtuberハンズオンの発表資料で一度、導入から配信までの流れに触れておくのがオススメです。

全体の流れを把握できるほか、UnityやOBSなどの代表的なツールの連携を体感することができます。

↑ハンズオン資料だけで、こんなVtuberが作れます。

(Webカメラは使わず、入力音声と同期して口を動かすLipSync機能を活用)


まとめ

この記事では、一般のノート型のような低スペックPCでVtuberになる方法をまとめました。

表にすると、各特徴はこんな感じです。

FaceRig
OpenCV + Dlib
ARKit
RealSense SDK
FaceVTuber

動作環境
PC(Winのみ)
PC/モバイル/Web
PC/モバイル/Web
PC/モバイル/Web
Web

開発環境
-
Win/Mac
Win/Mac
Win(/Mac)
-

対応モデル
3D(.dae)/2D
3D/2D
3D/2D
3D/2D
3D(.pmx)

導入コスト




解像度




価格
¥1,480
\$95+$40
無料
無料(専用カメラは有料)
無料

拡張性
-



-

動作部位



顔/手

表情の変更




不可

あまり機能や解像度を欲張らなければ、低スペックPCでも、一般公開されているモデルを使って手軽にVtuberを始めることができそうです。