こちらのイベントでタイトルにあるようなオーディオビジュアル系インタラクティブコンテンツを作成した際のTouchDesignerを用いたプロジェクションマッピングのワークフローについて、備忘録兼ねて解説します。
RCA-IIS Tokyo Design Lab
Kota Isobe / Future Tunnel
・音声の取得
マイク
複数チャンネルの入力が必要な場合はRolandのOCTA-CAPTUREなどを用います。
Roland - OCTA-CAPTURE | 24-bit/192kHz Hi-SPEED USB Audio Interface [UA-1010]
・映像の出力
プロジェクター
プロジェクターの検索にはこちらのサイトが非常に便利です。
Projector Database: Projector Feature Search
様々なプロジェクターの投影シミュレーションが行えます。最新のプロジェクターや日本でしか販売がないプロジェクターは掲載がない場合がありますが、カタログによくある300インチの大きさに投影できる投影距離が似た機種を探してシミュレーションできます。
予算と投影現場の寸法と投影したい範囲から逆算し、機種と台数でカバーできるか考えていきながら機種選びを行います。複数台用いる場合、レンタルは同じ機種が複数台見つからなかったり準備が不十分になったり適したスペックが見つかりにくかったりとあまり現実的ではありません。
11m*6mの断面のトンネルに投影する目的で今回は短焦点でthrow ratioが小さめのこちらの機種を選定しました。
BenQ MW632ST Projection Calculator - Throw Distance and Screen Size
グラフィック環境
GeForce1080を用いると通常4画面出力ができますが、6台のプロジェクターを一枚のGeForce1080から制御したい場合はMatrox TripleHead2Go DP Editionを用意します（また、プロジェクターの調整を現場で確実に行っていくために角度調整機能を備えたスタンドを自作すると良いです。長いHDMIケーブルも用意しましょう）。
Amazon.com: TripleHead2Go T2G-DP-MIF DP Edition Graphics Card: Computers & Accessories
ソフトウェア
フリー版TouchDesignerは最大解像度が1280*720なので、ライセンスを購入し制限を解除します。
・ワークフロー
・オーディオリアクティブな映像（投影する元絵）の制作
AudioDeviceInCHOPで音声を取得、現場の環境音を無視するアルゴリズムを組みます。
（ある一定以下の音量は無視するよう閾値を組んでおくとインタラクションが体験者にとって明確になります）
↓
GPGPUシェーダーのGeometryCOMPやParticleSOPのパラメータにCHOPを組み込み、TOPをCHOPと関連付けます。
↓
音声にインタラクティブなTOPを背景など他アセットのTOPにOverしていきます。
・完成した絵を適切にプロジェクターに分配していく
完成絵をプロジェクターの配置に従って分割していきつつ、プロジェクター同士のエッジブレンディングと形状の調整をソフト側で行っていきます。
↓
現場での調整作業を効率化するために、
1.操作するパラメータのコンポーネント群を最上階層に集約するか、独自のUIを作成します。
2.自動で各画面にボーダーレス全画面表示する機能を実装します
↓
現場で色味やモノの大きさや音声関係のパラメータ、ブレンディングpixel数、Stonerを調整しきちんと動くようにします。
・インスタレーションのアーカイブ
SpoutでUnityに映像を転送しVRで追体験できるようにします。
以上です。ワークフローについて、別記事で詳細を追加していきます。
おまけ
私事ではありますが、公益財団法人クマ財団よりクリエイター二期生として選出していただきました。3月に表参道スパイラルにて行われる展覧会での制作物発表に向けて技術を磨いていければと思います。