More than 1 year has passed since last update.

Blenderで実写合成をやってみる

Last updated at 2023-11-12Posted at 2023-11-12

畑違いの私がBlenderのモーショントラッキングを使って実写合成にチャレンジしてみたので、忘れないうちに作業全体の流れを残しておこうと思います。細かく記載するととても長くなるのでかいつまんで書いてます
やり方の詳細はYouTubeで「Blender モーショントラッキング」などと検索すればたくさんヒットするので、面白そうだなと思った方はそちらをご参照ください

作成したもの

以下のように短い動画にスザンヌを合成してみました（短い動画ですが初心者には結構大変な作業でした）

準備

Blenderのインストール
公式サイトからダウンロードしてインストールします
動画の撮影
スマートフォンで動画を撮影しました。カメラの動きが激しいとトラッキングの難易度が上がってしまうので軽く左右に振れる程度にし、場面の切り替わりがあると作業が大変になってしまうので、なるべく同じ画角で撮影するようにしました

動画のインポート

Blenderを開く
Blenderを開き、新規プロジェクトを作成します。
動画の読み込み
+ > VFX > Motion Trackingワークスペースに切り替えます

撮影した動画をインポートします。

※ファイル選択画面は省略

モーショントラッキング

「Set Scene Frames」と「Prefetch」を実行
動画に合わせて開始と終了のフレームを設定してくれます。また、動画を事前に読み込むことで今後の作業をスムーズに行えるようにしておきます
Output Propertiesの設定
動画の解像度、フレームレートの値と同じものをOutput PropertiesのResolution、Frame Rateに設定します
トラッキングポイントの設定
トラッキングしたいポイントにCtrl + Clickでトラッカーを追加していきます。Detect Featuresで自動検出してくれますが今回は全部手動で設定しました
トラッキングポイントはなるべく色のコントラストがはっきりしたポイントを設定すると良いです

最低でも8つのトラッキングポイントを設定する必要があります

トラッキングの実行
Track Markers(赤枠内の矢印)ボタンでトラッキング開始し、動画全体でポイントが追跡されることを確認します

今回は9点トラッキングしました

トラッカーを追加したフレームより後のフレームをトラッキングする場合は右向き矢印のボタンを、前をトラッキングする場合は左向き矢印のボタンを使います

カメラとシーンの設定

カメラモーションの解析
1. 左のメニューからSolveタブに移動
2. Keyframe A、Keyframe Bを動画の開始と終了に合わせる
3. Focal Lengthにチェックを入れる
4. Solve Camera Motionを実行
5. 右上にSolve errorの値が表示される

Solve errorの値は低ければより良い解析ができています。理想は0.3以下で、悪くとも1px以下になるまでトラックポイントの追加/削除と解析を繰り返します

背景の設定
1. Set as Background、Setup Tracking Sceneボタンでで撮影した動画を背景として設定する
2. Blenderの空間上のXY平面を机の平面に合わせる
  動画内のトラッキングポイントで地面に設定したい面上の3点を選択(Shift + Click)してFloorをクリックします
  
  それっぽくなってきました

メッシュの追加

メッシュを追加
Shift + AからBlenderにデフォルトで入っているスザンヌを配置します
メッシュの調整
位置、スケール、回転を調整して、動画内の環境に合わせます
マテリアルの設定
何も設定なしだと寂しいので色とmetallicを適当に設定します（設定内容は省略）
アニメーションの設定
せっかくなので少しモデルを動かしたいと思います
今回は動画開始から約2秒で浮いていたスザンヌが机に落ちるという単純なアニメーションにしました(詳細は省略)