先日，透明人間になって写真や動画を撮影できるAndroidアプリ「Invisible Camera」をリリースしました．OpenCV for Unityで作りました．せっかくなのでOpenCVで透明人間になる方法をメモとして残します．

pic.twitter.com/dBQhTwqNO4
— 敬也 (@takaya901) 2018年12月24日

なお，下記ソースコードは以下のようにusing staticでクラス名を省略しています．

using static OpenCVForUnity.Imgproc;
using static OpenCVForUnity.Core;

HSV画像に変換

GaussianBlur(webcamMat, blurred, new Size(7, 7), 0);
cvtColor(blurred, hsv, COLOR_RGBA2RGB);
cvtColor(hsv, hsv, COLOR_RGB2HSV);

webcamMatはカメラ映像をMatに変換したものです．OpenCV for Unityでは，WebCamTextureToMatHelperというクラスのGetMat()メソッドを使うとカメラ映像をRGBAのMatとして取得できます．別にRGBでも構いません．

後述のinRangeメソッドが使えるように，入力画像をHSVに変換します．ノイズ除去はお好みで．
COLOR_RGBA2RGBはないのでRGBを経由しています．

肌と髪の後ろにある背景を抽出する

//肌領域が255，それ以外が0のマスクを作成
//Hが0~180で循環しているので，両端とも取り出す
inRange(hsv, SKIN_LOWER1, SKIN_UPPER1, skinMask1);
inRange(hsv, SKIN_LOWER2, SKIN_UPPER2, skinMask2);

//髪（黒）領域が255，それ以外が0のマスクを作成
bitwise_or(skinMask1, skinMask2, skinMask1);
inRange(hsv, HAIR_LOWER, HAIR_UPPER, hairMask);

//肌と髪の領域が255のマスクを作成
bitwise_or(skinMask1, hairMask, skinAndHairMask);

//肌と髪の領域と同じ位置の背景を切り出す
bitwise_and(bg, bg, bgOnSkinAndHair, skinAndHairMask);

bgは背景（Background）のRGBA画像です．

inRangeメソッドで指定した範囲内の画素を255（白），範囲外の画素を0（黒）としたマスクを作成します．範囲は以下のように設定しました．

Scalar SKIN_LOWER1 = new Scalar(  0,  30,  88); //H（0~180）の左側  
Scalar SKIN_UPPER1 = new Scalar( 25, 173, 255);             
Scalar SKIN_LOWER2 = new Scalar(160,  30,  88); //H（0~180）の右側
Scalar SKIN_UPPER2 = new Scalar(180, 173, 255);            
Scalar HAIR_LOWER  = new Scalar(  0,   0,   0);                   
Scalar HAIR_UPPER  = new Scalar(255, 150,  90);

bitwise_orは，ざっくり言うと2つのマスクの0でない領域を足し合わせます．

bitwise_andは，本来は2つの画像の両方で0でない領域だけを抽出するメソッドです．上記コードでは同じ画像のandを取っているのでそれだけだとbgがbgOnSkinAndHairにコピーされるだけですが，第4引数にマスク画像を指定することでマスク画像で0でない領域のみ抽出することができます．これはbitwise_orでも同じです．

skinAndHairMaskとbgOnSkinAndHairはそれぞれ以下のような画像になります（毎回撮り直しているので少しずれてますが気にしないでください）．

カメラ映像から肌と髪以外の領域を抽出する

bitwise_not(skinAndHairMask, skinAndHairMask);
bitwise_and(webcamMat, webcamMat, withoutSkinAndHair, skinAndHairMask);

skinAndHairMaskを反転してからカメラ映像に適用することで，髪と肌以外の領域を抽出します．反転後のskinAndHairMaskとwithoutSkinAndHairは以下のようになります．

肌と神の領域を背景で置換

bitwise_or(withoutSkinAndHair, bgOnSkinAndHair, invisible);

withoutSkinAndHairの0領域にbgOnSkinAndHairの0でない領域がはめ込まれるイメージです．invisibleは以下のようになります．