LoginSignup
8

More than 3 years have passed since last update.

Web 会議 に Face Tracking 付き 3D アバターで参加する

Posted at

はじめに

2020年2月に開催された Cisco DevNet アイデアソン&ハッカソン 2020 東京 において、以前より気になっていた「Web 会議 x 3D モデル」というアイデアが出てきたことをきっかけに、関連技術や有償ソフトウェアを利用しない実現方法などを調べてみた。

結果、特にプログラミング技術を駆使せず、かつ FaceRig を購入せずとも、2つのソフトをインストールすることで Face Tracking された状態で 3D アバターとして Web 会議に参加することができるとわかった。

👇アイデアソン&ハッカソンの一コマ ー 昨今の事情にミートした今すぐ機能追加してほしい非常に優れたアイデアでした
image.png
https://twitter.com/jj1lfc/status/1228193833545945088?s=20

前提条件

  • Web 会議システムにパソコンから参加する(TelePresence や TV 会議専用端末などは範囲外)
  • パソコンには (内蔵/外付け) カメラがついている
  • Windows OS (自分は Windows10 pro VM 版を利用)

手順

3tene のインストール

公式サイトでパッケージ落としてインストールする。最初から 3D モデルがサンプルでついてくるのが親切。

https://3tene.com
https://3tene.com/readme/

UnityCapture のインストール

Unity Capture is a Windows DirectShow Filter that allows you to stream a rendered camera directly to another application.
In more simple terms, it essentially makes Unity simulate a web cam device on Windows that shows a rendered camera.
This project is based on UnityCam by Yamen Saraiji with added features and big performance improvements. It supports lag-free 1080p at 60 FPS on moderate PCs and can handle 4K resolutions on a faster PC. It also supports capturing multiple cameras and alpha channel (transparency) in receiving applications that support it (like OBS).

ということで、例えばカメラで撮影したものに何か処理したものを他アプリケーションへ受け渡すための仮想のカメラデバイスという理解をしている。

インストール方法は下記参照のこと。
https://twitter.com/3tene2/status/1020258307490033664?lang=en

インストールが完了すると、カメラデバイスとして Unity Video Capture がご利用のアプリケーションで選択可能となる。
image.png
(Webex Meeting でカメラ設定を見た様子)

起動

この状態で 3tene を起動し、お好きな 3D モデルを配置すると会議アプリケーションにおけるカメラにはそちらの映像がインプットとして利用されるようになる。

image.png

image.png
(会議の様子(Webex Meeting を利用))
参考までにこのキャラクターは東北ずん子さんというらしい。

今後の展望

  • soundflower のような仮想マイクをかませて音声にリアルタイムでエフェクトをかける
  • 背景を取り込む(人物部分だけ 3D アバターとする)
  • macOS 対応(mac OSX における UnityCapture の代替方法をご存じの方教えて下さい。OBS や webcamoid などについて調べています)
  • プレゼンテーション(画面共有)時におけるミニアイコンのオーバーレイ(OBS 画面キャプチャx背景色フィルタでできそう)

参照

http://meme-x.jp/2018/09/3tene/
https://www.moguravr.com/teator-beta-version/
https://facevtuber.com

宣伝

Cisco Webex Meetings 90日間無償支援プログラム なるものがあるようですのでみなさまリモートワークにご活用してみてはいかがでしょうか。

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
8