#背景
Kinectを使ったインタラクションゲームを作る際にDepthがUnityの空間内にどう分布しているかを見れるといいなと思ってUnity内にDepthをポイントクラウド的に描画できる機能を作りました。
#深度データからUnityの３次元座標系への変換
深度データの配列からCameraSpacePoint配列に変換するのが以下のメソッド。これでDepth配列を変換するとCameraSpace空間上の座標の配列が得られる。
KinectSensor.CoordinateMapper.MapDepthFrameToCameraSpace (ushort[] depths, CameraSpacePoint[] cameraSpacePoints);
CameraSpace空間はKinectを原点とし、Kinectから見て左が x 軸正、上が y 軸正、前方が z 軸正の右手系なので、Unityとはx軸の方向が異なるためX座標に-1をかけて変換する必要がある。
Vector3 unitypoint = new Vector3(-cameraSpace.X, cameraSpace.Y, cameraSpace.Z);
#描画する為のソースコード
得られたUnity座標をUnity内に描画する為のスクリプトを書きます。描画する方法は幾つかありますが、この記事では頂点シェーダーにポイントクラウドの座標を渡してジオメトリシェーダーでビルボード描画する手法をとります。やり方は下記の方法を参考にというか、ほぼそのまま採用しています。
[Unity]コンピュートシェーダ(GPGPU)で1万個のパーティクルを動かす
下記がKinectからデプス情報を取得してCameraSpace空間に変換しシェーダーに渡すC#側のソースです。C#側からshader側にCameraSpace空間座標の配列をComputeBuffer経由で渡しています。
DepthViewer.cs
using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using System.Runtime.InteropServices;
using System;
using Windows.Kinect;
/// <summary>
/// Depth座標
/// </summary>
public struct Float3
{
public float x;
public float y;
public float z;
public Float3(Vector3 vec)
{
this.x = vec.x;
this.y = vec.y;
this.z = vec.z;
}
}
/// <summary>
/// GPUDepth
/// </summary>
public class DepthViewer : MonoBehaviour
{
public bool isDisp
{
get;
set;
}
[SerializeField] Shader _depthRenderShader;
[SerializeField] Texture _depthPointTexture;
private KinectSensor _Sensor;
private CoordinateMapper _Mapper;
private DepthFrameReader _DepthReader;
private ComputeBuffer _depthPointBuffer;
private Material _depthPointMaterial;
private ushort[] _depths;
private CameraSpacePoint[] _cameraSpacePoints;
private int _width, _height;
IEnumerator Start()
{
_depthPointMaterial = new Material(_depthRenderShader);
//kinect 初期化
_Sensor = KinectSensor.GetDefault();
if (_Sensor != null)
{
_Mapper = _Sensor.CoordinateMapper;
if (!_Sensor.IsOpen)
{
_Sensor.Open();
_DepthReader = _Sensor.DepthFrameSource.OpenReader();
var frameDesc = _Sensor.DepthFrameSource.FrameDescription;
_depths = new ushort[frameDesc.Width * frameDesc.Height];
_cameraSpacePoints = new CameraSpacePoint[frameDesc.Width * frameDesc.Height];
InitDispDepth(frameDesc.Width, frameDesc.Height);
}
}
var wait = new WaitForSeconds(1f / 30f);
while (true)
{
//kinect Depth取得
if (_DepthReader != null)
{
var frame = _DepthReader.AcquireLatestFrame();
if (frame != null)
{
frame.CopyFrameDataToArray(_depths);
frame.Dispose();
frame = null;
}
}
//kinect Depth描画
if (_depths.Length > 0)
{
//depthをCameraSpace座標に変換
_Mapper.MapDepthFrameToCameraSpace(_depths, _cameraSpacePoints);
//ConputeBufferにセット
_depthPointBuffer.SetData(_cameraSpacePoints);
}
yield return wait;
}
}
void OnDestroy()
{
if (_depthPointBuffer != null)
{
_depthPointBuffer.Release();
}
if (_DepthReader != null)
{
_DepthReader.Dispose();
_DepthReader = null;
}
if (_Sensor != null)
{
if (_Sensor.IsOpen)
{
_Sensor.Close();
}
_Sensor = null;
}
}
/// <summary>
/// 初期化
/// </summary>
/// <param name="width"></param>
/// <param name="height"></param>
void InitDispDepth(int width, int height)
{
isDisp = true;
_width = width;
_height = height;
_depthPointBuffer = new ComputeBuffer(width * height, Marshal.SizeOf(typeof(Float3)));
}
void OnRenderObject()
{
if (!isDisp)
{
return;
}
//Depth描画
_depthPointMaterial.SetTexture("_MainTex", _depthPointTexture);
_depthPointMaterial.SetBuffer("Points", _depthPointBuffer);
_depthPointMaterial.SetPass(0);
Graphics.DrawProcedural(MeshTopology.Points, _depthPointBuffer.count);
}
}
下記がC#側からComputeBuffer経由で渡されたCameraSpace座標をUnity座標系に変換してビルボード表示するshaderです。
DepthViewShader.shader
Shader "Custom/DepthViewShader" {
SubShader {
ZWrite On
Blend SrcAlpha OneMinusSrcAlpha
Pass {
CGPROGRAM
// シェーダーモデルは5.0を指定
#pragma target 5.0
// シェーダー関数を設定
#pragma vertex vert
#pragma geometry geom
#pragma fragment frag
#include "UnityCG.cginc"
sampler2D _MainTex;
struct Float3
{
float X;
float Y;
float Z;
};
//StructuredBuffer配列。Depth情報
StructuredBuffer<Float3> Points;
struct VSOut {
float4 pos : SV_POSITION;
float2 tex : TEXCOORD0;
float4 col : COLOR;
};
float3 HUEtoRGB(in float H)
{
float R = abs(H * 6 - 3) - 1;
float G = 2 - abs(H * 6 - 2);
float B = 2 - abs(H * 6 - 4);
return saturate(float3(R, G, B));
}
float3 HSVtoRGB(in float3 HSV)
{
float3 RGB = HUEtoRGB(HSV.x);
return ((RGB - 1) * HSV.y + 1) * HSV.z;
}
VSOut vert (uint id : SV_VertexID)
{
VSOut output;
output.pos = float4(-Points[id].X, Points[id].Y, Points[id].Z , 1);
output.tex = float2(0, 0);
float dist = length(output.pos);
float3 hsv = float3(1, 1, 1);
hsv.x = dist % 1.0;
hsv.y = dist % 1.0;
float3 rgb = HSVtoRGB(hsv);
output.col = float4(rgb.xyz, 1);
return output;
}
//ビルボード
[maxvertexcount(4)]
void geom (point VSOut input[1], inout TriangleStream<VSOut> outStream)
{
VSOut output;
float4 pos = input[0].pos;
float4 col = input[0].col;
for(int x = 0; x < 2; x++)
{
for(int y = 0; y < 2; y++)
{
float4x4 billboardMatrix = UNITY_MATRIX_V;
billboardMatrix._m03 =
billboardMatrix._m13 =
billboardMatrix._m23 =
billboardMatrix._m33 = 0;
float2 tex = float2(x, y);
output.tex = tex;
output.pos = pos + mul(float4((tex * 2 - float2(1, 1)) * 0.005, 0, 1), billboardMatrix);
output.pos = mul (UNITY_MATRIX_VP, output.pos);
output.col = col;
outStream.Append (output);
}
}
outStream.RestartStrip();
}
fixed4 frag (VSOut i) : COLOR
{
float4 col = tex2D(_MainTex, i.tex) * i.col;
if(col.a < 0.3) discard;
return col;
}
ENDCG
}
}
}
描画結果
kinectのデプス画像を解像度(512x424)を落とさずにポイントクラウド風に点描画してみた。#unity #kinect pic.twitter.com/kAdo5r1sEQ
— unagi (@UnagiHuman) 2018年1月26日
GameView,SceneView内でDepthとGameObjectとの位置関係を一目できるのでデバッグにとても便利です。