LoginSignup
80
82

More than 5 years have passed since last update.

@Hirosaji

低スペックPCでVtuberになるいくつかの方法

Last updated at Posted at 2018-03-25

はじめに

なかじ氏（@nkjzm）のVtuberハンズオンに参加してしばらく、ノートPCのWebカメラで手軽にVtuberになる方法を調査したり実装したりしていました。
この記事では、それらを導入するための学習リソースを、メリットとデメリットと共にまとめました。

Vtuberを始める方法

事前準備

Vtuberを始めるには、以下の２つのアプリが必要です。

  1. 表情や体の動きをモデルに同期させるアプリ
  2. ライブ映像を収録・配信するアプリ

この記事では主に、1.のアプリの特徴についてまとめます。
（ライブ配信やUnityを未経験の方は、先にこちら等で入門するのがオススメです）

1. 表情や体の動きをモデルに同期させるアプリ

方法①: 「FaceRig」を使う

商用ソフトウェアである「FaceRig」を利用する方法です。
導入コストが低かったためか、このアプリを使う方法がこれまで最もスタンダードな手法でした。

実装例

PC: Surface Pro 4
OS: Windows 8.1
（※モデルはAgate氏のアライさんをお借りしました）

メリット

  • 価格が安い（¥1,480）
  • 導入コストが低い（DL後すぐに始められる）
  • 高いパフォーマンスが得やすい（高スペックPCでなくても、高FPSが安定する）

デメリット

  • 対応OSがWindowsのみ
  • 3Dモデルの読込形式がCOLLADA(.dae)のみ
  • 商業利用に制約がある（Pro版やStudio版が必要）
  • 機能拡張ができない

学習リソース

・お手軽にはじめるバーチャルYouTuber(VTuber)になる方法
・FaceRigを使って配信と自作Live2Dモデル使用
・【Facerig/Live2D】使い方とバーチャルYoutuberになる方法

方法②: 「OpenCV」と「Dlib」を使う

Unityで表情認識などの画像処理ができるAsset「OpenCV」「Dlib」を活用したアプリを作成・利用する方法です。

実装例

PC: MacBook Air (13インチ, 2017)
OS: macOS High Sierra
プラットフォーム: Unity 2017.3.1
（※モデルは醤油せんべい氏(@showyousenbei)の鹿島さんをお借りしました）

メリット

  • 人やモデルに合わせてパラメータを調整できる
  • マルチプラットフォーム対応（デスクトップ, モバイル, Web）
  • 画像処理系の機能が拡張しやすい
    • エラー画面や情動的な画像の検出とモザイク処理
    • SNS映えする画面の検出と自動投稿
    • 顕著性マップを利用した文章(説明文等)や画像(広告等)の生成・分析
    • など...

デメリット

  • 価格が少し高い（OpenCV(\$95), Dlib(\$40)）
  • 高スペックPCや高い最適化技術が必要

学習リソース

方法③: 「Face Tracking with ARKit」を使う

iPhoneXと親和性の高いことで注目される「Face Tracking with ARKit」を活用したアプリを作成・利用する方法です。
ちなみに、最近注目を集めるバーチャルライバーが使う「にじさんじ」にも、この技術が使われているようです。

実装例

メリット

  • 価格が無料
  • 人やモデルに合わせてパラメータが調整できる
  • 既に複数のプラットフォーム(Unity, Xcode)で開発報告がある
  • Unityならマルチプラットフォーム対応（デスクトップ, モバイル, Web）
  • AR, VR系の機能が拡張しやすい

デメリット

  • iPhoneXなどのデプスカメラが必要
  • 高スペックPCや高い最適化技術が必要

学習リソース

方法④: 「Intel® RealSense™ SDK」を使う

Intelのデプスカメラに特化した「Intel® RealSense™ SDK」を活用したアプリを作成・利用する方法です。

実装例

メリット

  • 人やモデルに合わせてパラメータを調整できる
  • Unityならマルチプラットフォーム対応（デスクトップ, モバイル, Web）
  • 表情だけでなく、手や指の動きも同期できる

デメリット

  • 対応OSがWindowsのみ（librealsenseを使えばMacでも可？）
  • 全機能を使うには専用のカメラ(Intel® RealSense™ Depth Camera)が必要（参考）

学習リソース

方法⑤: 「FaceVTuber」を使う

彗星の如く現れた、超お手軽Webアプリ「FaceVTuber」を利用した方法です。

実装例

PC: MacBook Air (13インチ, 2017)
OS: macOS High Sierra
ブラウザ: Google Chrome
（※モデルはキズナアイさんをお借りしました）

メリット

  • 価格が無料（2018年3月現在）
  • 導入コストが低い（モデルのアップロード後すぐに始められる）
  • 高いパフォーマンスが得やすい（高スペックPCでなくても、高FPSが安定する）
  • 3Dモデルが利用可能（MMD形式）

デメリット

  • 解像度が低い ※少しずつ改善されています（ソース）
  • 機能拡張ができない
  • 動作環境がWebブラウザに限られる

学習リソース

2. ライブ映像を収録・配信するアプリ

OBSというフリーソフトを使うのがおそらく主流です。
非常に高機能なフリーソフトなので、特別高度な加工が必要でない限りは、このアプリを使うと良いでしょう。

実装例

これらアプリを組み合わせれば、簡単にVtuber動画を作ることができます。


（ライブ配信やUnityを未経験の場合）

「はじめに」で書いたVtuberハンズオンの発表資料で一度、導入から配信までの流れに触れておくのがオススメです。
全体の流れを把握できるほか、UnityやOBSなどの代表的なツールの連携を体感することができます。

↑ハンズオン資料だけで、こんなVtuberが作れます。
（Webカメラは使わず、入力音声と同期して口を動かすLipSync機能を活用）

まとめ

この記事では、一般のノート型のような低スペックPCでVtuberになる方法をまとめました。
表にすると、各特徴はこんな感じです。

FaceRig OpenCV + Dlib ARKit RealSense SDK FaceVTuber
動作環境 PC(Winのみ) PC/モバイル/Web PC/モバイル/Web PC/モバイル/Web Web
開発環境 - Win/Mac Win/Mac Win(/Mac) -
対応モデル 3D(.dae)/2D 3D/2D 3D/2D 3D/2D 3D(.pmx)
導入コスト 低 高 高 高 低
解像度 高 高 高 高 中
価格 ¥1,480 \$95+$40 無料 無料（専用カメラは有料） 無料
拡張性 - 高 高 高 -
動作部位 顔 顔 顔 顔/手 顔
表情の変更 可 可 可 可 不可

あまり機能や解像度を欲張らなければ、低スペックPCでも、一般公開されているモデルを使って手軽にVtuberを始めることができそうです。

80
82
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
80
82