More than 5 years have passed since last update.

「コワすぎ」るカメラアプリ２～地獄だぞ編～【Unity × OpenCV × Dlib】

Last updated at 2017-04-27Posted at 2016-08-18

※(2017/04/27)公開しているデモアプリをUnityの新しいバージョンでビルドしたものに変更
（WebGL対応については「OpenCV for Unity」AssetのWebGL対応がやって来たヤァ!ヤァ!ヤァ!を参照してください）

はじめに

前回の記事に引き続いて今回もUnityとOpneCVとDlibを利用したカメラアプリのサンプルを作成してみたいと思います。
（「コワすぎ」るカメラアプリ１～歪む顔編～【Unity × OpenCV × Dlib】とのシリーズ記事になります。）

元ネタ

今回の元ネタ映像は白石晃士監督の初期名作「オカルト」から。
クライマックスで**「白石く～ん、助けてぇ～～～！」と江野君が叫ぶシーン。
物語の根幹に関わる重要なシーンなので詳細な説明はしませんが、ある種のリアリティ満ちた衝撃的な映像体験が味わえる名シーンです。
とにかく素晴らしい奇跡の連続**のような映画なので、未見の人はぜひ作品を観てください。

せっかくなので同じく白石監督作品である「コワすぎ！」や他作品にも頻出する異世界空間（ファンの間では「白石空間」とも呼ばれている）のイメージも融合させることにしました。

制作のポイント

顔器官検出の情報を基に頭部の領域だけを白く塗りつぶしたマスク画像を作成して別の背景に合成するところが制作のポイントになります。
また、人物ごとに色を変えたり、口の開閉度に応じて顔の大きさを変えたりする演出を加えることにしました。

Assetsのセットアップと顔検出をトラッキングしてから顔器官検出までの流れは前記事と同じです。

マスク画像作成

ここでもFaceSwapperSampleのコードが大いに参考になりました。

KowasugiruJigokuCamera.cs

        //マスクに顔の輪郭を描画
        private void drawMaskByFacePoints(Mat maskMat, Point[] points)
        {
            Imgproc.fillConvexPoly(maskMat, new MatOfPoint(points), new Scalar(255));


        }

        //マスクの縁をぼかす
        private void featherMask(Mat maskMat, OpenCVForUnity.Rect rect, Size feather_amount)
        {
            using (Mat maskMat_rect = new Mat(maskMat, rect))
            {
                Imgproc.erode(maskMat_rect, maskMat_rect, Imgproc.getStructuringElement(Imgproc.MORPH_RECT, feather_amount), new Point(-1, -1), 1, Core.BORDER_CONSTANT, new Scalar(0));
                Imgproc.blur(maskMat_rect, maskMat_rect, feather_amount, new Point(-1, -1), Core.BORDER_CONSTANT);
            }
        }

髪の毛部分をマスクに追加する処理
（頭頂部付近の髪の毛っぽい色を色域比較で抽出しているだけなので、撮影環境によって上手くいかないことがある。改良が必要）

KowasugiruJigokuCamera.cs

        //色域比較により髪の毛を抽出してマスクに加える
        private void drawHeadContourMask(Mat frameMat, Mat maskMat, OpenCVForUnity.Rect rect)
        {
            
            using (Mat frameMat_rect = new Mat(frameMat, rect))
            using (Mat maskMat_rect = new Mat(maskMat, rect))
            {
                
                //RGBA形式で色域比較
                byte[] data  = new byte[4];
                frameMat_rect.get(rect.height / 5, rect.width / 2, data);

                Core.inRange(frameMat_rect, new Scalar(data[0] - 30, data[2] - 30, data[2] - 30, 255), new Scalar(data[0] + 10, data[2] + 10, data[2] + 10, 255), maskMat_rect);

                //クロージング処理
                Imgproc.morphologyEx(maskMat_rect, maskMat_rect, Imgproc.MORPH_CLOSE, new Mat(),new Point(-1,-1), 3);

                //首以下のマスクを塗りつぶして除外
                Imgproc.rectangle(maskMat_rect, new Point(0, rect.height * 0.95f), new Point(rect.width, rect.height), Scalar.all(0),-1);

            }