AzureKinectでグリーンバック無しでクロマキー的な何か

3D Sensor Advent Calendar 2019 の13日目の記事です。

##はじめに
LIVを使ってBeatSaberのMR動画を撮影してるときに、「これ自分でも実装できるんじゃないか？？」と思ったのをきっかけに挑戦してみました。
2時間くらい頑張ったらサクッと出来たので記事を書いてみます。

出来たこと

AzureKinectでグリーンバック無しのクロマキー合成的な何か pic.twitter.com/SuvWXWhAbf

— そいちろ@LookingGlass&AzureKinect (@asidys230) December 13, 2019

環境

・Unity 2019.2.11.f
・Azure Kinect (Amazonで買った)

手順(ざっくり)

###1．ポイントクラウド表示
こちらの素晴らしいブログを参照してください。
　C#で始めるAzure Kinect開発⑥：Unity+C#でPoint Cloud表示

こんな感じに表示できるはず

###2.クロマキー的な何か
今回のクロマキー的な何かはオブジェクトが重なった部分を描画しないようにして実現しました。
人物抽出ではなくて背景除去になります。

背景のみが映っている状態でポイントクラウドを複製、後述のシェーダーを適用したマテリアルに変更。
複製したポイントクラウドのPointSizeを少し大きくして、背景のポイントクラウドを覆うとこんな感じに。

シェーダー素人なので、こちらの記事を参考にしました。
　【Unityシェーダ入門】オブジェクトが重なった部分をくり抜く

ポイントクラウド用に色々書き替えたのが以下です。

ColorutoutPoint.shader

Shader "Custom/ColorutoutPoint" {
	Properties{
	 _Size("ShaderSize", Float) = 1.000000
	 _PointSize("PointSize", Float) = 5.0
	 _Color("Color", Color) = (1,1,1,1)

	}
		SubShader{
		 Tags {"Queue" = "Geometry-1"}

		 Pass {
						Zwrite On
						ColorMask 0

		CGPROGRAM
		#pragma vertex vert
		#pragma fragment frag
		#pragma target 2.0
		#include "UnityCG.cginc"
		#pragma multi_compile_fog
		#define USING_FOG (defined(FOG_LINEAR) || defined(FOG_EXP) || defined(FOG_EXP2))

		float _Size;
		float _PointSize;

		// uniforms
		// vertex shader input data
		struct appdata {
		  float3 pos : POSITION;
		  half4 color : COLOR;
		  UNITY_VERTEX_INPUT_INSTANCE_ID
		};

		// vertex-to-fragment interpolators
		struct v2f {
		  float psize : PSIZE;
		  fixed4 color : COLOR0;
		  #if USING_FOG
			fixed fog : TEXCOORD0;
		  #endif
		  float4 pos : SV_POSITION;
		  UNITY_VERTEX_OUTPUT_STEREO
		};

		// vertex shader
		v2f vert(appdata IN) {
			IN.pos.xyz = IN.pos.xyz * _Size;

		  v2f o;
		  UNITY_SETUP_INSTANCE_ID(IN);
		  UNITY_INITIALIZE_VERTEX_OUTPUT_STEREO(o);
		  half4 color = IN.color;
		  float3 eyePos = mul(UNITY_MATRIX_MV, float4(IN.pos,1)).xyz;
		  half3 viewDir = 0.0;
		  o.color = saturate(color);
		  // compute texture coordinates
		  // fog
		  #if USING_FOG
			float fogCoord = length(eyePos.xyz); // radial fog distance
			UNITY_CALC_FOG_FACTOR_RAW(fogCoord);
			o.fog = saturate(unityFogFactor);
		  #endif
			// transform position
			o.pos = UnityObjectToClipPos(IN.pos);
			o.psize = _PointSize;
			return o;
		  }

		// fragment shader
		fixed4 frag(v2f IN) : SV_Target {
		  fixed4 col;
		  col = IN.color;
		  // fog
		  #if USING_FOG
			col.rgb = lerp(unity_FogColor.rgb, col.rgb, IN.fog);
		  #endif
		  return col;
		}
		ENDCG
		 }
	}
}

PointCloud.cs

        //背景除去用メッシュ生成
        if (Input.GetKeyDown(KeyCode.Space))
        {
            if (GameObject.Find("CutoutMesh"))
            {
                GameObject obj = GameObject.Find("CutoutMesh");
                Destroy(obj);
            }
            verticesGreenBack = vertices;
            greenBack = new GameObject();
            greenBack.name = "CutoutMesh";
            greenBack.AddComponent<MeshFilter>();
            meshRendererG = greenBack.AddComponent<MeshRenderer>();

            meshG = new Mesh();

            //65535点以上描画する際に下記を記述
            meshG.indexFormat = UnityEngine.Rendering.IndexFormat.UInt32;

            //頂点座標と色をmeshに渡す
            meshG.vertices = verticesGreenBack;

            //リストに格納した番号の頂点座標を点として描画
            meshG.SetIndices(indices, MeshTopology.Points, 0);

            //メッシュをこのオブジェクトのMeshFilterに適用
            greenBack.GetComponent<MeshFilter>().mesh = meshG;

            meshRendererG.material = materialG;
        }

        // 削除
        if (Input.GetKey(KeyCode.Backspace))
        {
            GameObject obj = GameObject.Find("CutoutMesh");
            Destroy(obj);
        }

###3.おもむろにカメラの前へ。
いい感じに人だけ映る。

AzureKinectでグリーンバック無しのクロマキー合成的な何か pic.twitter.com/SuvWXWhAbf

— そいちろ@LookingGlass&AzureKinect (@asidys230) December 13, 2019

##さいごに
明日はtakminさんの「kalibrを使ってカメラ/IMUキャリブレーション」です。