Tensorflow を利用した学習モデルを利用して、Semantic Segmentation した情報を基に、TouchDesigner でエフェクト付けるだけで、リアルタイムの人の動きに合わせたインタラクティブアプリケーション作れますって言いたく無いですか？
私は言いたかったので、作ってみました。
というわけでリアルタイムと言いながら全然動けないレベルですが、GPUが使えるマシンならもっとずっとマシになるはずです、多分。こんなレベルですが、2人日（16時間、当社比）でできたので、プロトタイプという意味では、次に繋がると思っていて、とても良いんじゃ無いかなと思っています。
前提
- anaconda, python インストール済み
- TouchDesigner インストール済み
- MacBook Pro
簡単な仕組み
- Webカメラ -> DeepLab で Semantic Segmentaitonする
- 1の結果 camTwist 経由で TouchDesigner に入力する
- 作っておいたエフェクトを 1 の結果にだけ適用して、Webカメラの映像に重畳する
という感じです。
やり方
それぞれどうやるの？であれば、以下記事に分割してあるので、ご参照ください。
1のために
- DeepLab で Sematic Segmentation する（デモを動かす）
- DeepLab でWebカメラを使うためのには Real-time semantic image segmentation with DeepLab in Tensorflow（英語なので google翻訳お願いします）のプログラムを参考にするといいと思います
2のために
- (鋭意製作中)
3のために
- Voronoi エフェクトの作り方： TouchDesigner を勉強しはじめて8時間でかっこいい Voronoi エフェクトを作る
- 1 と 2の結果を合成します（私は Level と Add と Mutliply を使って合成しました）