Help us understand the problem. What is going on with this article?

TouchDesignerとRealsenseの連携(平面から3Dモデルを作成)

More than 1 year has passed since last update.

インテル RealSenseとTouchDesignerとの連携をさせてみたいと思います。

やることはRealSensenの映像から3Dデータを作るというものなのですが、ここで言う3Dモデルというのは完全な人型とか物体の3Dモデルを作るのではなく平面に奥行きを持たせた3Dモデルになります。あしからず。。

ネットワークはこんな感じになります。
スクリーンショット 2018-10-15 20.44.53.png
Realsense TOP > Level TOP > Chroma key TOP > Blur TOP > Trace SOP > Extrude SOP > Polyreduce SOP > Transform SOP

Realsense TOP

まずはRealsense TOPです。
Realsenseの接続、設定等は済ませておけば、Realsense TOPをつなぐだけで映像が取得できると思います。
デフォルトではRGBカメラの映像になっているのですが今回はDepthカメラを使います。
Depthカメラでは映像中の奥行きをグレースケールで表示することができます。

Mirror ImageをONにすると鏡面映像になるので、ディスプレイや投射した映像に向かってインタラクティブな表現をしたい場合はONにしておくと良いかもしれません。
またMax Depthは深度を図る範囲(奥行き)になります。
デスクでイスに座って人の像を取得したいという場合はデフォルトの5で良い感じでした。

Level TOP


次はRealsenseで取得した映像をLevel TOPで調整します。
まずは白黒反転のためInvertを1にします。
そしてその他のパラメータを、暗い部分は暗く、明るい部分は明るく、中間のグレーは階層がわかりやすいようにという感じに調整します。
コントラストも少し付けます。
ここのパラメーターは環境によってかなり異なってきますので、各自の環境に合わせて値を変える必要があります。

Chroma key TOP


Level TOPで調整した映像から白と黒の部分を削除し、中間のグレーの階層の映像だけにします。
これはValタブのVal MinとVal MaxをいじってあげればOKです。

Blur TOP


そしてSOPにする前にBlurをかけます。Blurをかけなくてもいいのですが、かけずにそのままSOPにすると頂点数が多くなってしまうので、ここで丸めます。

Trace SOP


Trace SOPは平面画像の指定の閾値でトレースした絵の平面ポリゴンを作ってくれます。
今回は特にパラメーターをいじってませんが必要に応じて閾値(Threshold)を変更しても良さそうです。

Extrude SOP


Extrude SOPで平面ポリゴンを押し出します。
必要に応じてDepth Scaleを変更するなどします。

Polyreduce SOP


このSOPはポリゴンを減らしてくれるのですが、パーセンテージかポリゴン数かオブジェクトまでの距離で削減数を指定します。
あまりやり過ぎるとモデルが割れるのでここも絵によって調整が必要です。

Transform SOP


これは単にサイズや位置調整のためだけです。

Kinectでも同じことができるのですが、これができるとパーティクルや他の3Dモデルとの衝突判定ができるのでインタラクティブな作品を作るときに便利ですね:laughing:

最後にYouTubeのリンクを貼っておきます。
IMAGE ALT TEXT HERE

atsonic
株式会社 たき工房 テックラボ所属 ディレクター。 https://www.instagram.com/takagimao/ https://twitter.com/atsonic
http://atsonic.jp
taki-mex
株式会社たき工房の開発部署、TechLabです。
http://www.taki-mex.jp/
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした