これは Photogrammetry Advent Calendar 2019 の3日目の記事です。
やったこと
複数の画像から3Dモデルを作成するフォトグラメトリという技術を使い、
スマートフォンからの動画から3Dモデルを作成してみました。
できたもの
使ったもの
- iPhoneXで撮影した動画
- 3DF Zephyr free
使用した動画の1シーン。1分ぐらいの動画です。
きっかけ
このツールなら、スマホで何気なくとった風景の動画でもいけるのでは？
と思ったことがきっかけでした。
以前から風景をフォトグラメトリにする方をSNSで知っていたのですが、
それなりに撮影が難しいだろうな～と漠然と思っていました。
しかし、いざ自分のスマホとフィギュアでフォトグラメトリしてみたら、
あまりの簡単さとモデルの出来に感動し、これまでの撮影した動画してみたくなりました。
モデルの作成
ツールの使用方法は、以下を参考にさせていただいています。
3DF Zephyrで3Dモデルを作成する その１
3DF Zephyrで3Dモデルを作成する その2
気を付けた点としては、
- 動画からの画像への変換設定
フレーム抽出を全部にするとものすごい枚数の画像を生成します。
Zephyr freeは、画像は50枚までという制限なので、すべては取り込めません。
画像を自分で間引きしても良いのですが、正直大変。。。
なので、私は、2.00あたりを使用し、50枚になるように調整しました。
値は、動画の長さや画像を何枚使用するかで決めると良いと思います。
VRChatのワールドでみてみる
できたモデルを眺めていたら、やっぱりVRでも見たいなという思いがでてきました。
そこで、ちょうど作成中のVRChatのワールドに置いてみました。
iPhoneXで撮った動画から作ったモデルをワールドに反映してみた！
— もののう (@mononou) October 14, 2019
ボロボロなモデルだけど、それでも楽しい！ 小人になってしまった〜(^^)#photogrammetry#VRChat pic.twitter.com/jbapPoWMw1
予想以上に楽しい！モデルサイズを誤って、小人になってしまいましたが、
逆にそれが新しい体験になりさらなる楽しさがうまれました。
モデルをより綺麗につくるには
楽しかったけれど、モデルがボロボロはやはり気になりました。
モデルを修正するにあたり、
【フォトグラメトリ】3DF Zephyrを使ってモデルのメッシュを綺麗にする方法
が非常に参考になりました。
基本は、参考ページのとおり不要なポリゴンを削って穴を埋める作業です。
私は、そこからさらにラプラシアンスムーサーで床や壁の平坦になるように調整しました。
以下が、ポリゴンを綺麗にする前と後です。
$\Large{修正前}$
$\Large{修正後}$
個人的には、モデルのテクスチャーがはっきりしているところを平坦にしていくとすごくきれいに見えると感じられました。
今後の課題
さらに綺麗なモデルにするために、やはり使用する枚数を増やしたいと感じました。
また、人物や空の削除もできるとさらに良くなるな感じました。
そして、モデルを滑らかにしたことでポリゴン数もだいぶ増えてしまったので、もっと減らせればと思います。
さいごに
本記事を作成するにあたり、以下のページを参考にさせていただきました。ありがとうございました。
3DF Zephyrで3Dモデルを作成する その１
3DF Zephyrで3Dモデルを作成する その2
フォトグラメトリ入門 撮影方法～3Dモデル作成
【フォトグラメトリ】3DF Zephyrを使ってモデルのメッシュを綺麗にする方法