3DF Zephyrに動画を取り込んでパンダの3Dモデルを作成する

はじめに

• 最近、フォトグラメトリが気になる。
• フォトグラメトリ：複数枚の写真から視差情報を解析し、3Dスキャンする技術。
• 今回は、3Dモデルにしたい物体の周りを動画撮影し、3DF Zephyrというソフトを使って、3Dモデルを作成してみた。
• 動画を取り込むと言っても、動画から複数枚の写真を抽出して、その写真から3Dモデルを作成する流れ。
• パンダが好きなので、パンダのぬいぐるみを3Dモデル化した。

開発環境

• 使用PCのスペック
• OS: Windows10 Pro
• GPU: GeForce GTX 1080
• 使用したソフト
• 3DF Zephyr Free(無料版。取り込める写真は50枚まで。)

作成手順

• 基本の作成手順は以下のサイトが参考になりました。
  • とりあえず始めるフォトグラメトリ(1) とりあえずスキャンして Unity 上で表示する
  • 3DF Zephyr tutorials

1. 新規プロジェクト作成　〜　動画を3DF Zephyrに取り込んで点群生成

1. 3DF Zephyr Freeを起動 -> メニューバー[ワークフロー] -> [新規プロジェクト]
2. 左3項目を選択 -> [次へ]。一度に高密度点群、メッシュ、テクスチャを出力してくれる。
   3.写真選択ページで[ビデオから写真を入力]を押下。
3. [入力ファイル] で動画を選択。[出力ファイル]で、動画から抽出した画像の出力先を選択。 [フレームの抽出とワークスペースの入力]を押下。
4. 今回は抽出するFPSを1.00にしたため、32枚の画像が抽出された。[次へ]
5. カメラ修正ページでは今回は較正は変更せず、[次へ]
6. テクスチャ付メッシュ作成ウィザードページで、[テクスチャの最大数]を1に変更。[次へ]
7. カメラ方向ページで、[カテゴリー]を今回は近接範囲を選択。[次へ]
8. 高密度点群作成ページで、[カテゴリー]を今回は近接範囲を選択。[次へ]
9. サーフェスモデル化ページで、[カテゴリー]を今回は近接範囲を選択。[次へ]
10. モデル化開始ページで設定内容を確認し、[実行]
11. しかし、、32枚中11枚しか画像が取り込まれず、、パンダの右半分が空洞に；；抽出するFPSを1.00にしたことで、写真同士の視差や特徴点を上手く解析できなかったと思われる。
    

2. 動画から抽出する画像を増やしてリベンジ

1. というわけで、1.1〜1.3まで同様に行う。
2. [抽出するFPS]を2.00に変更
3. 抽出された画像が54枚だったため、3DF Zephyr Freeでは以下のような警告が出て、51枚目以降は破棄される
4. 1.4〜1.11まで同様に行う。
5. 50枚全ての画像が取り込まれて、パンダが概ね欠けることなく出現。
   

3. 高密度点群から不要部分を選択削除

パンダ以外の背景を削除していきます。

1. 左サイドバーの[高密度点群(1)]を選択し、高密度点群を表示させる。
2. メニューバー[編集] -> [選択] -> [手動選択]
3. ドラッグで削除したい範囲を選択すると赤くなる
4. [選択アイテムを削除]アイコンを押下し、不要な点群を削除していく
5. 不要な点群を削除したものがこちら

4.メッシュ化

1. 左サイドバーの[Dense point cloud 1]を選択した状態で、メニューバー[ワークフロー] -> [メッシュ抽出]
2. メッシュが作成される
3. 左サイドバーの[メッシュ(2)]に[Mesh 2]を選択した状態で、メニューバー[ワークフロー] -> [テクスチャ付メッシュ作成]
4. テクスチャ付メッシュ作成ウィザード設定で、[テクスチャの最大数]を1に変更。[次へ]
5. テクスチャ付メッシュが作成された。ぬいぐるみのもこもこ感が少しわかるようになった気がする。
6. メニューバー[出力] -> [テクスチャ付メッシュを出力]。今回はobj/mtlで出力。

出来上がりはこんな感じ

出力したobjファイルをWindows10にプリインストールされている3DBuilderで見てみた
一応パンダであることは分かる

作ってみて

• 取り込む写真の枚数について
  • 3DF Zephyr Freeは無料版ということで、50枚までしか写真を取り込めない。
  • 取り込んだ写真の枚数が少ないと、視差情報を取得しにくいためか、点群化に使用できる写真が32枚中11枚しかなかった。
  • 3Dモデルの精度を上げるには写真50枚だと限界がある。(お金を積むしか…w)
• 動画と複数枚の写真、どっちを使った方が良さそう？
  • 動画だと、指定したfpsで切り取った写真がボケていると精度に影響しそう。
• 感じたこと・気になったこと
  • 3DF Zephyrには、マスク機能を使って、取り込む写真に写っている3Dモデルにしたい対象物と背景をマウスでざっくりなぞって認識させることができる。しかし、取り込む枚数が多いほど気が遠くなるような作業になる・・・今回みたいに点群化した後に、不要な点群を選択して削除する方が楽だと感じた。
  • 今回使用した枚数と同じ、写真50枚で作成したら精度が変わるかどうか比較してみたい。
  • 今回はほとんどプリセットやアドバンスの設定のまま点群化、メッシュ化したため、カスタマイズ設定するときのパラメータについて調べてみる。
  • 3DF Zephyrでメッシュを出力して、3DBuilderやMeshLabで確認すると、3Dモデルが横向きになっているのは、3DF Zephyrは座標系が右手系、他が左手系のため。