前段

UE4は Sequencer（以下、シーケンサー）が素敵です。

リアルタイムと非リアルタイム

UE4のシーケンサーは、

リアルタイム（ランタイム）でインタラクティブ要素と混在しながらライブ映像を出力する目的
非リアルタイム（オフライン）で高品質なレンダリングをする目的

の2つの異なる目的を達成できるようになっており、ときにはその良いところを両立することができます。また Blueprint の関数を連続・非連続で呼びだすことができるために本質的な拡張性が高いです。

バーチャルプロダクションなどの領域で仕事をさせていただくときに、ハイクオリティなレンダリングはしたいけれど、リアルタイムにフィジカルコントローラーでライブ制御したり演者の音や映像を高解像度で取り込みたいといったトレードオフとなるようなニーズが混在しています。

UE4では、これに答えるかたちで

撮影段階ではリアルタイム入力・出力して確認をクイックに行いつつ、
撮影素材を持ち帰って品質を高めて（解像度をあげたり、RayTracingを使ったりして）オフラインレンダリングをする

というようなワークフローを一つのプロジェクトで完結できるようになっています。

とはいえ、扱われるデータは高解像度な映像に加えて、センサーやトラッカー、フィジカルコントローラーなどのリアルタイム情報が多くあり、これらも同時にレコーディングして、シーケンサーにマッピングしてあげる必要があります。今回はこのあたりの具体例がテーマです。

やること

本記事でやることは、

DAWのMIDI再生によってアクターを制御し、かつシーケンサーで再現可能にする

です。DMX、OSC、LiveLinkなど別のIOにも横展開する念頭で今回は、外部ソフト上でのMIDIトラック連携を扱います。

アドカレのネタ、外部のMIDIシーケンスをシーケンサーに焼く、というやつです pic.twitter.com/ehp0GsLwAy
— Ayumu Nagamatsu (@ayumu_naga) December 3, 2021

1. MIDI送受信の環境をつくる

ローカル内のDAWソフトのMIDIアウトをUnrealEngineにルーティングするために、MIDIの仮想デバイスを用意する必要があります。macOSではデフォルトでルーティングができるのに対し、WindowsではLoopMIDIなどをインストールして起動する必要があります。

今回はAbletonLiveを再生環境としました。MIDI InstrumentのトラックにExternal Instrumentを設定し、MIDIの送信対象にLoopMIDIを設定しました。

次にUnrealEngineのMIDI受け口としては、ブループリントをかきます。まずMIDI Device Supportプラグインを有効化します。

MIDIデバイスを見つけて監視するブループリントをレベルなどに記述します。

MIDIのアタックの際にノート番号に応じて処理をかいてあげるとランタイムで動くようになります。BP_MidiHandlerというアクターがパーティクルやライティングの制御をラップしています。

2つの音を使って、片方でライティング制御、もう片方でパーティクルスポーンを割り当ててみました。

2. MIDIで任意のアクターのパラメータを動かし、レックする

ランタイムやエディター上のアニメーションをシーケンスとしてレコーティングしたい場合、テイクレコーダーという便利な機能があります。代表的なアクターのパラメータ制御情報やLiveLinkの情報をシーケンサーで使えるテイクとしてレコーディングするものです。

しかし残念ながら、テイクレコーダーはすべてのコンポーネントのすべての挙動をレコーディングすることができず、代表的なコンポーネントの値しかレコーディングすることができません。StaticMeshのVisibilitiyやTransformはレックできても、自前のブループリントアクターの変数や関数コールをレックできるわけではありません。

今回は、MIDIによって

Materialのパラメータ
LightのIntensity
Niagara Systemのスポーン

を制御したいのですが、LightのIntensity以外はテイクレコーダーの対応がありません。コードを読み解いて改造することも手ですが、実際のスコープに対して現実的ではないので、ワークアラウンドがないかを検討しました。

MIDIをつかって目的の動作を達成するために、ここでは任意のアクターのパラメータ操作をレックして、それをあとからコピペして別のシーケンサートラックに持ってくる、というワークアラウンドを思いつきました。

例えば、2つのMIDIノートのアタックをとりたい場合、2つの任意のアクターを用意します。ここではキューブのStaticMeshを用意しました。

先程の用意したBlueprintのNoteOnのイベント監視で、この2つのStaticMeshをアタック毎に可視性をトグルします。これをランタイムでレコーディングします。

テイクレコーダーでのレコーディングの手順は以下です。

Windowメニューから Cinematics > Take Recorder を選択してパネルを表示
先程のキューブをレコーディング対象に追加（+ SourceからLevel内のアクターを選択）
ランタイムに入ったのち、レックボタンを押す

ただ四角がピコピコするだけの絵ができただけですが、録画したシーケンサーを見てあげると、Visibilityのレーンが入っていることが確認できます。

3. レックしたアタックをEventトリガーに使う

ここが今回の一番の重要なポイントなのです。できたVisibility変化はEventレーンにコピペができます。つまり、MIDIのアタックをレックして、シーケンサー上のトリガーEventを置くことができるわけです。

バインドする関数をそれぞれのキーフレームに登録しないといけないところがめんどくさいですが、それぞれ登録せず（個数増えたら辛いので）、うまくコピペしてあげます。一つのキーフレームに関数をバインドし、もとのキーフレームの同一タイミングにグリッドする形でペーストしてあげます。

これで任意の関数を使えるようになりました。勝利です✌
イベントレーンはブループリント含む任意なアクターの関数やイベントに対して有効になります。ランタイムで使っていたBP_MidiHandlerの関数をそのままシーケンサー上でバインドします。