TouchDesignerでVJシステムを作る

H B(@hb_music_game)です。普段は曲を作ったり、DJしたりしてます。
VJシステムを作ったので、そのことを書き留めておきます。

こんなのです

ここで公開してます。

実際に使ってみた。

なぜつくったか

自分が企画したDJイベントで、VJもやりたいと思ったのが発端です。
VJシステムそのものから作ろうと思ったのは以下のような理由からです。

• VJソフトが高くて買えない！！
  定番のResolume Avenueだと299ユーロ(執筆時)もする...

• オーディオリアクティブな表現がやりたかった。
  池田亮司やCorneliusのライブ映像なんかを見て、音と連動するリアルタイム性の高い映像に興味があった。
  既存のソフトでどの程度できるか知らないけど、自分で作った方がオリジナリティを追及できそうと思った。

開発環境

TouchDesigner 2020.28040

システムの概要

• 音に反応するリアルタイムレンダリングの映像
• カメラからの映像
• プリレンダリングの動画

これらに、さらに音に反応するエフェクトをかけて混ざあわせます。

音声入力デバイスからの音声信号から、3バンドごとの音圧レベルを取得します。
その値をもとに、映像に変化を加えます。

安定性と開発性を考慮し、機能ごとで複数のプロジェクトファイルに分割しています。

それぞれのプロジェクトが持つ機能について説明します。

ch01 player & ch02 player

動画ファイルを再生し、その出力をmain mixerへ送信します。
それぞれ8つずつまで同時に動画をロードできます。
UIに表示された動画をクリックしたり、MIDIコンで信号を送ったりして映像を切り替えます。
任意の時間間隔でロードした映像を切り替えることもできます。

main mixer

ch01とch02のplayerから受け取った映像にエフェクトをかけたり、ミックスしたりします。
録画機能も備えています。
また、音声・映像デバイスからの入力を受け取ります。

低域に連動して大きさが変動するキューブをリアルタイムレンダリングし、映像の上に重ねて描画します。

以下のようなオーディオリアクティブなエフェクトをかけることができます。

リファレンス

TouchDesignerでVJシステムを作るきっかけになったチュートリアルです。
動画の切り替えとミックスの部分はこれがベースになってます。

オーディオリアクティブな部分はこの本で紹介されている作品をリファレンスにしました。

今後やりたいこと

プリレンダリングの動画にエフェクトを加えることに注力して開発しました。
3Dオブジェクトのリアルタイムレンダリングによる表現が乏しいので、それをもっと盛り込んでVJしたいです。
オーディエンスを巻き込んだインタラクションも組み込みたい！