この記事はUT-virtual Advent Calendar 2018の14日目の記事です。
もうすぐクリスマスですね。人生一度は本場フィンランドでオーロラに包まれてクリスマスを迎えたい皆さんも多いのではないでしょうか？そんな夢をバーチャルに叶えるシステムのご紹介です。お友達も一緒に連れていくことができますよ！
というのは置いておいて、今回紹介するのは
ある時点から動いたものだけを表示する仕組み
1.をVRで一人称視点で体験することでのSubstitutonal Reality的な隠遁現実感やテレプレゼンス体験の制作
これらをTouchDesigner上で実装しようと思います。(素敵な360画像はこちらより拝借しました: https://unsplash.com/photos/IuyhXAia8EA )
作例
作例も載せておきます。
1. 自分を現在を客観視する体験、2. その場所で少し前に起きた過去の事象を視聴覚で追体験する体験、3.2の体験を現在と重ね合わせた体験 で構成しました。 pic.twitter.com/r0MMgASlV2
— Kota Isobe (Kotton) (@theruleisobeyed) 2018年12月8日
RCAのIEDコースでの1日目、自己紹介がてらV&A美術館で得たインスピレーションを表現して下さいってお題が出ていたので、館内の収蔵物の持つ時間性に着目した疑似テレプレゼンス体験を展示。 pic.twitter.com/Lw3AjSZNGv
— Kota Isobe (Kotton) (@theruleisobeyed) 2018年10月2日
1. ある時点から動いたものだけを表示する仕組み
ここで使用しているファイルはこちらからダウンロードできます。
https://goo.gl/83YsDa
環境
windows10
TouchDesigner099 Noncommercial(最新版にアップデートを推奨)
VideoDeviceInTOPでWebCamからの映像を取得します。部屋に誰もいない状態でMovieFileOutTOPで初期状態を記録し、その画像を二つ目のVideoDeviceInTOPで取得します。その後カメラを動かさずに自分をカメラの視界に納めます。
DifferenceTOPを用いて初期状態とライブストリーミングの状態との差分を取得しMonochromeTOPとLevelTOPを介して（いい感じに人があぶり出てくるようにパラメータを多少調整して）マスクを取得します。初期状態から動いたもの、ライティングが変わったものが浮き出てきます。
取得したマスクを利用してChromaKeyTOPやChannelMixTOPでアルファ付きマスクを取得しCompositeTOPでカメラからの映像をうまくマスキング出来たらあとは任意の背景にOverTOPで重ねる事で合成が完了です。
2.VRで一人称視点で体験することでの隠遁現実感やテレプレゼンス体験
先で実装した機能をImmersiveにすることで体験者のプレゼンスを上げ、体験価値をアップデートしていきます。
環境
ここから先は機材等の要求が多いので万人向けではありませんが悪しからず（書籍+Vive環境+ThetaV+TouchDesigner Educational or higher)。
こちらの
Visual Thinking with TouchDesigner プロが選ぶリアルタイムレンダリング＆プロトタイピングの極意
の購入者向けサンプル3-11 VR_sample.toeではEquirectangularの映像を入力にopenVRでの二眼表示に用いることができます。HTCViveが使える状態であれば、ファイルを起動すると自動でSteamVRが立ち上がりViveに二眼表示されているのが確認できると思います。
ライブストリーミングに対応している360カメラでPCに接続することでUSBカメラとして認識できるRicoh Theta Vを使用すると、Double FishEyeからEquirectangularへのスティッチング処理後の映像がストリーミングされて出てきます。（元の解像度を生かしたい場合はTouchDesignerのEducationalやCommercial版を購入する必要があります）
VideoDeviceInTOPで取得した360ライブストリーミング映像を1．で組んだ仕組みと統合し、NullTOP(environment)に繋ぎ、カメラを回転させて正面を現実と揃えれば代替現実感SRの提示の準備完了です。
背景を変更したり、比較対象とする360写真の撮影頻度を調整したり、レンダリング対象のSphereの位置や大きさを自在に調整したりして、隠遁現実感やテレプレゼンスを始めとする様々なNew Realityを体験してみましょう。
やってみたいこと
現在Shifted-Realityの続編でZED miniを組み合わせた作品の制作を続けており、人体マスクの取得にステレオカメラの利を生かした負荷の少ない方法を模索しています。ZED cameraとoF向けに書かれたこちらの人体検出のシステムのZED mini + python環境での移植にトライしてみたいです。
https://github.com/kuflex/ofxKuZed