Blenderで実写合成をやってみる

畑違いの私がBlenderのモーショントラッキングを使って実写合成にチャレンジしてみたので、忘れないうちに作業全体の流れを残しておこうと思います。細かく記載するととても長くなるのでかいつまんで書いてます
やり方の詳細はYouTubeで「Blender モーショントラッキング」などと検索すればたくさんヒットするので、面白そうだなと思った方はそちらをご参照ください

作成したもの

以下のように短い動画にスザンヌを合成してみました（短い動画ですが初心者には結構大変な作業でした）

作業の流れ

1. 準備
2. 動画のインポート
3. モーショントラッキング
4. カメラとシーンの設定
5. メッシュの追加
6. ライティング
7. レンダリングと出力

準備

• Blenderのインストール
  公式サイトからダウンロードしてインストールします
• 動画の撮影
  スマートフォンで動画を撮影しました。カメラの動きが激しいとトラッキングの難易度が上がってしまうので軽く左右に振れる程度にし、場面の切り替わりがあると作業が大変になってしまうので、なるべく同じ画角で撮影するようにしました

動画のインポート

• Blenderを開く
  Blenderを開き、新規プロジェクトを作成します。
• 動画の読み込み
  + > VFX > Motion Trackingワークスペースに切り替えます
  
  撮影した動画をインポートします。
  
  ※ファイル選択画面は省略
  

モーショントラッキング

• 「Set Scene Frames」と「Prefetch」を実行
  動画に合わせて開始と終了のフレームを設定してくれます。また、動画を事前に読み込むことで今後の作業をスムーズに行えるようにしておきます
  

• Output Propertiesの設定
  動画の解像度、フレームレートの値と同じものをOutput PropertiesのResolution、Frame Rateに設定します
  

• トラッキングポイントの設定
  トラッキングしたいポイントにCtrl + Clickでトラッカーを追加していきます。Detect Featuresで自動検出してくれますが今回は全部手動で設定しました
  トラッキングポイントはなるべく色のコントラストがはっきりしたポイントを設定すると良いです

最低でも8つのトラッキングポイントを設定する必要があります

• トラッキングの実行
  Track Markers(赤枠内の矢印)ボタンでトラッキング開始し、動画全体でポイントが追跡されることを確認します
  
  今回は9点トラッキングしました

トラッカーを追加したフレームより後のフレームをトラッキングする場合は右向き矢印のボタンを、前をトラッキングする場合は左向き矢印のボタンを使います

カメラとシーンの設定

• カメラモーションの解析
  1. 左のメニューからSolveタブに移動
  2. Keyframe A、Keyframe Bを動画の開始と終了に合わせる
  3. Focal Lengthにチェックを入れる
  4. Solve Camera Motionを実行
  5. 右上にSolve errorの値が表示される
     

Solve errorの値は低ければより良い解析ができています。理想は0.3以下で、悪くとも1px以下になるまでトラックポイントの追加/削除と解析を繰り返します

• 背景の設定
  1. Set as Background、Setup Tracking Sceneボタンでで撮影した動画を背景として設定する
     
  2. Blenderの空間上のXY平面を机の平面に合わせる
     動画内のトラッキングポイントで地面に設定したい面上の3点を選択(Shift + Click)してFloorをクリックします
     
     それっぽくなってきました
     

メッシュの追加

• メッシュを追加
  Shift + AからBlenderにデフォルトで入っているスザンヌを配置します
  
• メッシュの調整
  位置、スケール、回転を調整して、動画内の環境に合わせます
  
• マテリアルの設定
  何も設定なしだと寂しいので色とmetallicを適当に設定します（設定内容は省略）
  
• アニメーションの設定
  せっかくなので少しモデルを動かしたいと思います
  今回は動画開始から約2秒で浮いていたスザンヌが机に落ちるという単純なアニメーションにしました(詳細は省略)

ライティング

poly havenのHDRI素材を使ってライティングをします。今回は室内で夜に撮影した動画なので室内で外の光があまり入っていないものを選びました
使用した素材 => small_empty_room_2
※手順の詳細は割愛

一旦、画像レンダリング（F12）してみるとこんな感じになります。影が自然ですね

レンダリングと出力

最後に動画に書き出します

• レンダリングの設定
  • レンダーエンジンをEevee=>Cyclesに変更
  • サンプル数を32に変更
  • FilmのTransparentにチェック
    

この設定で地面に設定した平面が出力時に透明になってくれます
また、平面に投影された影は出力にも反映されます

• 出力設定を変更する
  

• レンダリングの実行
  Ctrl + F12で完成したシーンをレンダリングし、動画として出力します（めっちゃ時間かかりました）

以上です！
思ったよりBlenderが自動でやってくれたところや、逆に思ったより手動でやらないといけないところなど自分でやってみて初めてわかりました。また何かアイデアがわいたら作ってみたいですね