Unityを使った映像コンテンツの作り方：USC2014

#セッション概要

• Unityソリューションカンファレンス 2014
• 2014年12月4日（木）11:00〜11:40
• クリプトン・フューチャー・メディア株式会社　田中正宏

#イーハトーヴ交響曲
冨田勲先生作曲の作品にソリストとして初音ミクが採用された。
従来のコンサートでは初音ミクに演奏が合わせていたが、今回はオーケストラとのコラボと言うことで、初音ミクも指揮に合わせて歌ったり踊ったりするシステム。

• 拍の頭にモーションを合わせる
• テンポの揺らぎ対応
• スクリーンの見切れ対応

モーションをクロスフェードの形でつなぎあわせて、泊の頭に合わせるために、500個ぐらいにモーションを分割して対応した。
オーケストラとやっているので、リアルバンドということでテンポの揺らぎがあるので、リアルタイムにモーションの再生速度を変更することで対応した。
モーションキャプチャしたときと本番のスクリーンとでサイズに齟齬があり、本番ではスクリーンの端のほうで髪が抜けちゃったり手が映らないことがあったので、スクリーンの端に近づくに連れてリアルタイムに移動量を計算して減らしていく対応をした。

#BUNP OF CHICKEN feat. HATSUNE MIKU「ray」
Youtubeに動画がアップされている。

1. 実写カメラの位置に連動して円形スクリーンにモデル表示
2. 背景に動画を利用したパーティクルの表現
3. TripleHeat2Goを利用した3840*1080の画角表示
4. MIDIによる同期システム

円筒のスクリーンの周りを実写のカメラが回り、その実写のカメラに必ず初音ミクが映るようにセンサーを使ってカメラの位置を割り出し、Unityのほうで初音ミクを表示するようにした。

センサーからAndroidに対してフォータニオンの情報を送り、Androidからフォータニオンの情報をコマンドとしてWIFIでUnityに情報を送り、Unityがその情報を利用して初音ミクの表示をした。
Unityの処理は、WIFIの情報を受け取るために、TCP用のリスナースレッドを作り、スレッドでコマンドを受け取り、センサーの情報を設定しモデルの更新メソッドでX軸の情報を変更してモデルを表示した。
背景に動画を利用したパーティクルの表現のために、ムービーテクスチャを利用した。Unityの標準では再生の開始位置が必ず最初から再生されてしまうので、Asset Storeから再生位置を指定できるプラグインを購入して対応した。
Unityは当時、マルチディスプレイに対応していなかったので、デュアルディスプレイによる3840*1080を実現するためにTripleHeat2Goを導入して一個のディスプレイを作った。

#マジカルミライ2014　大阪サブステージ
fuZeのVJKitを使って開発した。
音符とか色のついた丸っこいものが音に合わせて自動的にでるようになる。初音ミクにあわせて踊るキューブマンの大きさや、背景でぐるぐる回るオブジェクトの回転速度などを、音楽を入れるだけで自動的に変更する対応を、VJKitで実現した。
音楽に合わせた映像制作をする場合には、VJKitを使用すると簡単に作成できる。

Unityを使用してものをつくるときに使いたいモデルがない場合は、MMD4mecanimを使うとMMDのモデルをUnityで使用できる。モデルのモデラーによっては、Unityやゲーム環境で使用してほしくない人もいるので、使用許諾を確認すること。
クーマリオンというUSBで接続する人形と連動していて、揺れもの（スカート、髪）をモーションに合わせてリアルタイム物理化して動いていた。
Unityが配布しているUnityちゃんに同梱されているSpringBoneやSpringColliderといわれているものがアタッチされているので、そちらを参考にした。
DJのコントローラーのUSB接続できるものに、ボタンにモーションを割り当ててリアルタイムにモーションをさせていて、Unityのmecanimを使用するとクロスフェードで違和感なくモーションを接続できる。

#レッドブル・ミュージック・アカデミー　1UP:Cart Diggers Live
立体スクリーンに、下からプロジェクターで投影してプロジェクションマッピングの形で投影した。
なにもしないで投影すると、スクリーン途中で間延びしている。
そこで、Unityのほうでバーティックシェーダーを書いてリアルタイムに補正をかけるようにした。