VR動画とAmbisonic
Ambisonic(s)で音をとるとVRの絵だけでなく音もまわる動画になるはず。
Ambisonicsマイク試してみましたという備忘録です。
Ambisonicsって何?
Nao Tokuiさんの記事がわかりやすい
360度動画のためのAmbisonicsマイクを開発中! 「百見は一聞に如かず」
動画
PCやMacのブラウザで再生する場合はマウスで視点が動かせます。
同時に音の方向も一緒に変化します。
スマホで見る時の注意
スマホの場合ブラウザ標準再生（やアプリ内埋め込みのブラウザ）だと元素材がそのまま再生されて、変な画像と音になるので
Youtubeアプリや対応プレーヤーでVR再生をしてみてください。
スマホの場合はジャイロで視点が動かせます。
例えばiPhoneだとリンク先をコピーしてSafariで開いて、Youtubeアプリで開くといった手順でVR再生ができるようになります。
参考にしたサイト
THETAの動画をYoutubeにする方法として
http://bamka.info/360view-movie-youtubeffmpegでB-formatのwavとくっつけるなど
https://francois.pitie.net/2016/05/05/360-audio-youtube-upload/Homebrewでffmpegインストール
http://www.yuichon.com/2016/02/ffmpeg-install/
機材
THETA パノラマ動画撮影
Brahma ambisonicマイク
Octa-caputre キャノンで4ch取り込めるオーディオインターフェース
MacBookPro 録音や動画加工
ソフトウェア
- RICOH THETA THETAの３６０度動画をYoutubeのVR動画用に変換するアプリ
- LogicProX 録音と切り出し、ステレオ波形バウンスに使用
- BrahmaVolver Brahmaで録音したA-formatの4chを、B-formatの4chのwavを作に変換するアプリ
- ffmpeg THETAの動画の音声トラックを差し替えるのに使用
- Spatial Media Metadata Injector YoutubeVR動画投稿用のメタデータを動画に入れるツール
全体の流れ
- VR動画としてカメラまわりをオブジェクトが動いていると面白そう。
- LEGOのNXTがあったので、とりあえずカメラの周りを動かすようにプログラム。
- BrahmaVolverでA-formatでOcta-Capture使ってLogicで録音と加工。
- BrahmaVolverでB-format化する。
- ffmpegでTHETAの動画とくっつける。
- youtubeにアップロード。
マイク位置とカメラ位置
やっかいなのは、カメラと同じ位置にマイクを置きたいけど、
全天周とるカメラのどこにおけばいいかが難しい。
普通の撮影ならカメラ外に置けばいいけど、全天周の場合、撮影が苦手な領域の真上か真下に置くといいかもしれない。（が、配線や機材干渉などの関係で縦に置くにはそれなりの工夫が必要）
と、撮影できる部屋がないので今回は廊下で撮影してみた。
配置の工夫の課題
マイクの下にあるマイクプリがでかい。(床に埋めたいくらい、もっと小型化求む）
ロボットがカメラのまわりを動く動画だとカメラに対してマイクの位置が上すぎて、音が真下から聞こえてくる感じで、まわりから聞こえる感じにならないかも。（直接音より、壁の反射音の変化を拾ってるかもですが）
２つの楽器音をカメラのまわりで動かした動画ならカメラのすぐ後ろなのでズレが少ないはず。
今回はマイクがしっかり固定できずマイクの設置に苦労した。
天地反転してカメラに近づけてみたいところだが、
マイクが重く、スタンドがバランス崩して倒れてしまうなどなど、通常のマイクスタンドではダメでしっかりしたスタンドが必要と認識。
しかし、しっかりしたスタンドを配置すると360度動画にも影響するので、もっと小型で取り回しの良いambisonicsマイクが開発されるのを期待。
マイクの向きとカメラの向きを合わせておく
L、R、Front,Backを考える時、マイクを対象に向けるというイメージで
とらえてみた。
マイクの配置とカメラの向きを合わせて動かさないと後で困ったことになるのでこれは注意深く合わせておく。
今回は固定だが、カメラが動く場合マイクも合わせて動かす必要がある。
どの方向の信号がどのチャンネル（色）に記録されるかの把握
このBrahmaのケーブルの色、何もヒントがなかったので、
マイク側にテプラで色を貼ってわかるようにしてみた。
ロゴを後ろから眺める向きで右後ろから時計周りに
RGBY(赤、緑、青、黄色）
真上から見ると
BY(Front L R)
GR(Back L R)
絵がある方が前だと思う。
自分が後ろからみたとき、映像の前（THETAロゴとBrahmaロゴが同じ面）として合わせた。
ケーブルの色分け モノラルマイクと違ってどの向きがどの色かを把握する必要がある。
BrahmaVolver用に２つステレオファイルを用意する。
１．FLU+FRD 前左、前右
２．BLD+BRU 後左、後右
Logicで4chモノラルで録音したものをパンをふって、ステレオ２つにしてバウンス。
BrahmaVolverアプリでは
B-format化した4chwavが1つできる。
この1つのwavがあれば、VR再生時に音声も向きで変化する動画になる。
録画と録音手順
録画と録音は同時に行いたいところだが、それぞれ機材が異なるので、
後編集での切り出しポイントを作っておく必要がある。
Logicで録音開始し、THETAの録画を開始、録画停止して、録音停止の順で行う。
これで、音声が動画より長く記録されている状態。
なので、音声を切り出す。
動画と音声の切り出しタイミング合わせ
THETAの録画開始音、停止音をたよりに波形を切り出す。適宜レベル調整。
THETAの動画の変換
THETAの記録した録画データはmp4になっているが、
そのままではYoutubeのVR形式の動画にならないのでRICOH THETAのツールを使い変換する。
ffmpegで4chwavをaacに変換。
ffmpegでTHETAでとった mp4と4chwavのmp4をくっつける。
Spatial Media Metadata Injectorで
上のような設定で書き出す。
（おそらく。真ん中のはステレオ撮影、GoogleCardboardやハコスコなど２眼用）
で、youtubeにあげる。
あげて直後はVR化されてなくて焦ったけど、
しばらく15分くらいしないとVR動画にならないみたいだった。
（動画が上がった後で、Youtube側で何かしているのかもしれない）
気づいた点
なるべく手間をかけずに行うレベルであれば、なんとなくできているんじゃないかなぁという感想。
そもそもこのマイク自体はフィールドレコーディング用で、
マイクとしては一点だが、付属するパーツ類が邪魔でカメラの近くに置けないという致命的な問題があり、360動画撮影と同時に使うには難儀。
かといって、別撮りだと、それはそれで位置合わせとか
後での編集作業がいろいろつらいかもしれない。
例えば、滝壺の近くとか、噴水の近くとか、焚き火の近くとか、フィールドに固定されていて且つ変化の少ない音ならよいかも。
波打ち際とか車の通過音とか変化のある音だと映像とのずれが気になり始めるかも。
音声とは別に位置合わせのための情報もすべて記録する3Dキャプチャみたいな仕掛けが必要そう。
プレビュー環境Waves NXみたいなものとか DAW側の進化も必要かも。（3Dとかの把握だからゲームエンジンとかの方が向いているのかも）
3次元音像配置フォーリーとか新しい職種が生まれるかもしれない。
その他参考にしたサイト
ffmpegインストールでHomebrewがうまく動かなかったので参考にした
http://qiita.com/takezoux2@github/items/aa2a5f0bef19cd0d8508
Unityのゲーム内空間をVR動画にするときにAmbisonicでがんばっている何か
http://neta-abc.blogspot.jp/2016/06/unityambisonic.html
実はゲーム空間の方がAmbisonics録音に向いてるかもしれない。