インテル RealSenseとTouchDesignerとの連携をさせてみたいと思います。
やることはRealSensenの映像から3Dデータを作るというものなのですが、ここで言う3Dモデルというのは完全な人型とか物体の3Dモデルを作るのではなく平面に奥行きを持たせた3Dモデルになります。あしからず。。
ネットワークはこんな感じになります。
Realsense TOP > Level TOP > Chroma key TOP > Blur TOP > Trace SOP > Extrude SOP > Polyreduce SOP > Transform SOP
Realsense TOP
まずはRealsense TOPです。
Realsenseの接続、設定等は済ませておけば、Realsense TOPをつなぐだけで映像が取得できると思います。
デフォルトではRGBカメラの映像になっているのですが今回はDepthカメラを使います。
Depthカメラでは映像中の奥行きをグレースケールで表示することができます。
Mirror ImageをONにすると鏡面映像になるので、ディスプレイや投射した映像に向かってインタラクティブな表現をしたい場合はONにしておくと良いかもしれません。
またMax Depthは深度を図る範囲（奥行き）になります。
デスクでイスに座って人の像を取得したいという場合はデフォルトの5で良い感じでした。
Level TOP
次はRealsenseで取得した映像をLevel TOPで調整します。
まずは白黒反転のためInvertを1にします。
そしてその他のパラメータを、暗い部分は暗く、明るい部分は明るく、中間のグレーは階層がわかりやすいようにという感じに調整します。
コントラストも少し付けます。
ここのパラメーターは環境によってかなり異なってきますので、各自の環境に合わせて値を変える必要があります。
Chroma key TOP
Level TOPで調整した映像から白と黒の部分を削除し、中間のグレーの階層の映像だけにします。
これはValタブのVal MinとVal MaxをいじってあげればOKです。
Blur TOP
そしてSOPにする前にBlurをかけます。Blurをかけなくてもいいのですが、かけずにそのままSOPにすると頂点数が多くなってしまうので、ここで丸めます。
Trace SOP
Trace SOPは平面画像の指定の閾値でトレースした絵の平面ポリゴンを作ってくれます。
今回は特にパラメーターをいじってませんが必要に応じて閾値（Threshold）を変更しても良さそうです。
Extrude SOP
Extrude SOPで平面ポリゴンを押し出します。
必要に応じてDepth Scaleを変更するなどします。
Polyreduce SOP
このSOPはポリゴンを減らしてくれるのですが、パーセンテージかポリゴン数かオブジェクトまでの距離で削減数を指定します。
あまりやり過ぎるとモデルが割れるのでここも絵によって調整が必要です。
Transform SOP
これは単にサイズや位置調整のためだけです。
Kinectでも同じことができるのですが、これができるとパーティクルや他の3Dモデルとの衝突判定ができるのでインタラクティブな作品を作るときに便利ですね
最後にYouTubeのリンクを貼っておきます。
