Help us understand the problem. What is going on with this article?

FaceRigなんてもう古い!Vをやるならこれを使え!

はじめに

 この記事は宣伝用です。技術的なところは以下のリンクをたどってください。
OpenCvSharpとDlibDotNetでやるFace Tracking + α
Unityでの async・await・lock
WindowsでTensorFlow liteをビルドする

 あと、タイトルはやや釣りぎみです。FaceRigもいいツールだと思います。私が作ったもの(kumaS.FaceTracking)も性能自体はほぼ変わらないレベルまで仕上げましたが。(タイトルはインパクトないとダメだってマッマが...)

環境

  • Windows 10 Pro
  • Unity2018.3.8f1

 Unityの設定

  • .NET 4.x Equivalent (Scripiting Runtime Version)
  • Mono (Scripiting Backend)
  • .NET Standard 2.0 (Api Compatibility Level)

 My PC のスペック

  • CPU : i7-7700HQ
  • GPU : GTX1050 (今回はあまり関係ない)
  • メモリ : 16GB

つくったものの概要(宣伝タイム)

 V界隈に仲間入りするのには高い、高い壁があった。モデルを用意するのもそうだが、何より動かすのが難しい。お金があれば他の人に任せたり、高い機器やソフトのごり押し(over 500,000 yen)できるけど、そんなにお金使えないよね?そして、こんな記事見ないと思うし。
 VR機器は高いし、手で動かしてというのはやるのは簡単だけど完成度を高めるのは難しい。(スマホで出てるやつはカスタマイズできないから除外だよ♡)
自分で作るにしてもWebカメラから動きを導くのは難しい。(Unityのfacelandmark?そこそこお金かかるよね?)ということで 私の作った「kumaS.FaceTracking ・ kumaS.PoseNet」の出番だ!

  導入簡単・様々なスペックのマシンに対応・カスタマイズもしやすい・VRMとLive2D両方対応、FaceTracking だけではなく全身トラッキングもできる。そんなものがあるんです。
 

できること

  • Live2D・適切なボーンとBlendShapeをもった3Dモデルへのフェイストラッキングの反映
  • まばたき・目玉の位置も取得、反映
  • マシンの性能ごとに合わせたパフォーマンスの設定
  • 様々なカスタマイズに対応(ただのスクリプトなので)
  • 全身トラッキング(3Dモデル)

デモ

 いろいろここに書くより動画見せたほうが早いので貼っときます。(変な模様がついているのはgif化した時の影響だよ)
demo2.gif

類似製品との比較

 Vを動かすものにいろいろあると思いますがそれぞれに対して(kumaS.FaceTracking・kumaS.PoseNetと比べた時の)メリット・デメリットをまとめました。

モーションキャプチャ用の機器

メリット
正確に、高FPSで、たくさんの箇所をキャプチャできる。性能は最強。
デメリット
高い。とにかく高い。法人か石油王じゃなきゃやってられない。

VR機器

メリット
手、頭をキャプチャできる。VRChat使えば割と楽に撮れる。
デメリット
VRChatを使わないとそこそこ難しい。そこそこお値段する。結局この世界に回帰するけど。

専用カメラ(kinectとか)

メリット
全身撮れる。
デメリット
難しい。細かいところは撮れない。安価とはいえお金かかる。

OpenCvSharpとかFacelandmarkとか

メリット
これらにできることは私のもので全てできるのでなし。
デメリット
難しい。お金かかる。

PoseNet

メリット
これらにできることは私のもので全てできるのでなし。
デメリット
難しい。そもそもUnityに使える実装がない。

 結論。個人でやる分には私の「kumaS.FaceTracking・kumaS.PoseNet」の勝利!

vs FaceRig

 FaceRigについて書いてなかったのはここでしっかり比較するためです。

項目 kumaS.FaceTracking FaceRig
値段 基本無料 有料
信頼性 これから(安定はしている) 世界中で使われている
FPS ぬるぬる ぬるぬる
精度 良好 良好
カスタ
マイズ
可能。パラメータはもちろん、
スクリプトも。
パラメータのみ可
対応
モデル
Live2D・ボーンとBlendShape
を設定した3Dモデル。
独自実装も可能。
独自ファイル
追加購入でLive2D可
商用 そのまま可(責任はとらない) プロ版にする必要あり

なお、FPSと精度はどちらも似たようなフェイストラッキング方法なので似たり寄ったり。

結果
私の「kumaS.FaceTracking」の勝利!
信頼性がほしい方はどうぞFaceRigをお使いください。

配布場所

 それでは!当の「kumaS.FaceTracking・kumaS.PoseNet」ですが、Boothで販売しております。
 無料のやつと、有料のやつがあります。気を付けてください。

Tracking in Unity (booth)

 無料のほうは、プログラム(.unitypackage)と最低限の説明のみ。
 有料のほうは、うまく動かないときや、よりよい設定をするときのための How to 本(いや?HTMLファイル?)が入っています。
 初心者の方や、手っ取り早く使いたい方は有料のものもご購入するのをおすすめします。できるだけわかりやすく使えるようにしましたが、多機能なので慣れるまで扱いづらいかもしれません。

さいごに

 ここまで読んでくださりありがとうございました。この「kumaS.FaceTracking」で、みなさんのVライフがよりよくなれば幸いです。なお、Boothでチップを積んでくださると喜びます。

kumaS-kumachan
興味の赴くままいろんなもの作ってます。 現在大学生。先輩のすごさに恐れおののいている。
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした