Tokyo BLOCKS Hakathonに参加しました

HoloToneというものを作りました。

BLOCKSという押し込みもできるマルチタッチデバイスのビジュアライズ的なものをやってみました。
ホロレンズ越しの画像ではMixedRealityな表現も。

TouchDesignerとHoloLensを繋ぐ

これをVJライブパフォーマンス的には共有したいので、画面に出すのですが
そこにTouchDesignerでのエフェクト掛けてみたいなぁと思った次第。

Mixed Reality Captureを使う

HoloLenseにWebブラウザで直接アクセスすると
LivePreviewができます。

これで画面がとれます。リアルタイムといっても１秒くらいラグがあります。

(Windows Mixed Realityだからもしかしてこれから出てくるデバイスとかでも使えるのだろうか？）

強引な繋ぎ方

TouchDesignerにはスクリーン画面キャプチャ機能があるので、
表示しているWebサイトをそのまま取り込んでしまった。

もっと良い方法があれば知りたいところ。

ScreenGrabのTOPを使って、キャプチャ位置をうまく調整

いけてない点（画面が狭くなる）

スクリーン画面キャプチャなので、作業領域が画面半分になり苦労したり。

右側のマシンで、画面右半分がキャプチャのためにとってあるので、
TouchDesignerの画面は左側半分で作業するという感じになってた。

いけてる点（複数接続や切断に強い＝弱い連携）

端末側でLiveViewができない時でも強く接続しているわけではないので、安定している。
デバイスとか握ってしまって別ハードと連携とかだと、1対1接続しかできないとか縛りが多いことがよくあるので、（開発上の理由でそうなっているのだろうけど）
こういうWebッブラウザのようなゆるい接続形式だから、たぶん複数台とかでも取り込めたりするかもしれない。（通信帯域的に間に合えば）
ハッカソンの会場のような、
接続が不安定だったり、ドライバが想定外（複数マシンから接続とか）な状態で復帰しないとかは使いづらいことになるので、
こういうゆるい接続はローテクながらありかもしれない。

余談ですが、
BLOCKSも複数もPCから接続したり、複数PCに状態を送ることはできない。
今回のハッカソンでは、Maxでホストマシン１台と接続してOSCで飛ばすことで複数マシンで処理できるようにしていた。

実際、BLOCKSの接続でMaxがよく落ちるけど、HoloLensやTouchDesigner側はその影響を受けずに済むことができた。
BLOCKSもデバイスIDとPortだけ指定してUDPで入力情報を飛ばすだけみたいな機能があればよかったかもしれない。
（これはUSBとかBluetoothの問題でホスト切り替わり時にマスターとかスレーブとかどう変わるとかわかりにくいし）
->これやろうとするとBLOCKSそれぞれにホストPCが必要になるので、小さいマシンとかたくさんあればできるのだろうか。