はじめに
最近、Unity上でVtuberを実現するシステムとして、Unity版DlibとUnity版OpenCVが話題になっていますが、これらは合計1万円越えという超強気の価格設定がされているため、趣味で手軽に始めるにはつらいものがあります。
そこで、無料で配布されているC++版のDlib,OpenCVを使用し、同等以上の機能を持つ顔認識ソフトウェア、及びそれを基幹としたVTuber撮影システムの開発を行いました。
1．概要
Webカメラを使用し、バストアップ状態のVuber動画を撮影するシステム
実行環境
- OS: Windows 10 Home 64bit
- CPU: Core i9 7980XE
- GPU: Geforce GTX1080Ti
- RAM: 32G
2．開発項目
本プロジェクトにおける開発項目は以下の3点です。
1．Dlib_WebcamFaceTracker
-C++プログラム フェイストラッキングおよび表情認識を行い、Unity側に送信する
2．FaceController
-Unityアセット 1の検出結果を受信し、Unity上の3Dモデル(今回はMMDモデル)に反映する。
3．Ver3_ImagingSystem
-Unityプロジェクト 1,2を基本に他のアセットを組み合わせたVtuber動画撮影システム本体
3．使用するソフトウェア、ライブラリ
■開発ツール
1．Microsoft VisualStudio 2015 community
-C++プログラムおよびUnityアセットの開発で使用します
2．Unity 2018f1
-Vtuber動画の撮影に使用します
3．Cmake
-Dlibのビルドに使用します
■ライブラリ
1．Dlib 19.16
-顔認識に定評がある機械学習ライブラリ 当然顔認識に使用します
2．OpenCV 3.4.1
-画像処理ライブラリ 今回はWebCamの制御や画像データの加工などに使用します
3．Boost 1.6.7
-なんかこれ入れないとコンパイルできなかったんで
■その他(学習済みモデル,あると便利なツールなど)
1．shape_predictor_68_face_landmarks.dat.bz2
-Dlib用の学習済み顔器官検出AI
2.サクラエディタ
-テキストファイルの編集などに便利
4．環境構築手順
VisualStudioおよびUnityのインスコ方法は割愛します。
4-1．Cmakeのインストール
【Cmakeダウンロードページ】 から、2018年10月現在の最新版(cmake-3.12.3-win64-x64.msi)をダウンロードしてインストールします。
※ファイル末尾に「.zip」と「.msi」の2種類の拡張子が付いたものがあるが、「.msi」を選択すること
4-2．Dlibのインストール
Dlibはソースコードの形で提供されているため、解凍したままの状態では使用できません
ダウンロード後にコンパイルを行う必要があります。
以下の操作を行い、Dlibをインストールしてください。
(1) Dlibのダウンロード
【Dlibダウンロードページ】 から、2018年10月現在の最新版(Dlib 19.16)をダウンロードし、解凍したフォルダを任意の場所に配置してください。
今回は、【C:\dnn\】に配置することとします。
C:
└ dnn
└ dlib-19.16
├dlib
├examples
├ ・・・・
以上のようなフォルダ構成になっていればOKです。
(2) Dlibソースコードのコンパイル＆インストール
コマンドプロンプトを開いて、以下のコマンドを順番に入力してください。
cd C:\dnn\dlib-19.16\dlib
mkdir build
cd build
cmake.exe -G "Visual Studio 14 2015 Win64" -T host=x64 -DCMAKE_INSTALL_PREFIX=install ..
cmake.exe --build . --config Release --target INSTALL
大量のログが流れますが、最終的に
「XXX個の警告 0エラー」
という具合に、「エラー」が「0」であれば問題ありません。これでDlibのインストールは完了です。
もしも途中でエラーが吐かれた場合、もしくは何らかのトラブルでビルドが中断された場合、一旦dnn/dlib-19.16/内のファイルを全て削除し、もう一度ダウンロードファイルからコピーしてきた上でやり直してください。
4-3．OpenCVのインストール
(1) OpenCVのダウンロード
【OpenCVダウンロードページ】から、2018年10月現在の最新版(OpenCV3.4.3)をダウンロードしてください。
※ダウンロードの際は「Win pack」を選択すること
(2) OpenCVのインストール
ダウンロードしたexeファイルを実行します。
インストール先フォルダは【C:\dnn\】を指定します。下記のようなフォルダ構成になればOKです。
C:
└ dnn
├ dlib-19.16
└ opencv
└ build
└ souece
これで開発環境の構築は一旦完了です。
次回の記事 DlibとOpenCVを用いたVtuber撮影システムの開発 #2(顔認識) にて、1．Dlib_WebcamFaceTracker を開発します。