Help us understand the problem. What is going on with this article?

スマホの動画からフォトグラメトリしてみた話

これは Photogrammetry Advent Calendar 2019 の3日目の記事です。

やったこと

複数の画像から3Dモデルを作成するフォトグラメトリという技術を使い、
スマートフォンからの動画から3Dモデルを作成してみました。

できたもの

kyoto01.PNG
kyoto02.PNG

使ったもの

使用した動画の1シーン。1分ぐらいの動画です。
6CC49636-8C25-4AFA-AC7D-03E0A4C861DA.jpeg

きっかけ

このツールなら、スマホで何気なくとった風景の動画でもいけるのでは?
と思ったことがきっかけでした。  

以前から風景をフォトグラメトリにする方をSNSで知っていたのですが、
それなりに撮影が難しいだろうな~と漠然と思っていました。  

しかし、いざ自分のスマホとフィギュアでフォトグラメトリしてみたら、
あまりの簡単さとモデルの出来に感動し、これまでの撮影した動画してみたくなりました。

モデルの作成

ツールの使用方法は、以下を参考にさせていただいています。
3DF Zephyrで3Dモデルを作成する その1
3DF Zephyrで3Dモデルを作成する その2

気を付けた点としては、

  • 動画からの画像への変換設定

設定画面.PNG

フレーム抽出を全部にするとものすごい枚数の画像を生成します。
Zephyr freeは、画像は50枚までという制限なので、すべては取り込めません。
画像を自分で間引きしても良いのですが、正直大変。。。

なので、私は、2.00あたりを使用し、50枚になるように調整しました。
値は、動画の長さや画像を何枚使用するかで決めると良いと思います。

VRChatのワールドでみてみる

できたモデルを眺めていたら、やっぱりVRでも見たいなという思いがでてきました。
そこで、ちょうど作成中のVRChatのワールドに置いてみました。

予想以上に楽しい!モデルサイズを誤って、小人になってしまいましたが、
逆にそれが新しい体験になりさらなる楽しさがうまれました。

モデルをより綺麗につくるには

楽しかったけれど、モデルがボロボロはやはり気になりました。
モデルを修正するにあたり、
【フォトグラメトリ】3DF Zephyrを使ってモデルのメッシュを綺麗にする方法
が非常に参考になりました。

基本は、参考ページのとおり不要なポリゴンを削って穴を埋める作業です。
私は、そこからさらにラプラシアンスムーサーで床や壁の平坦になるように調整しました。
以下が、ポリゴンを綺麗にする前と後です。

$\Large{修正前}$
kyoto03.PNG

$\Large{修正後}$
kyoto04.PNG

個人的には、モデルのテクスチャーがはっきりしているところを平坦にしていくとすごくきれいに見えると感じられました。

今後の課題

さらに綺麗なモデルにするために、やはり使用する枚数を増やしたいと感じました。

また、人物や空の削除もできるとさらに良くなるな感じました。

そして、モデルを滑らかにしたことでポリゴン数もだいぶ増えてしまったので、もっと減らせればと思います。

さいごに

本記事を作成するにあたり、以下のページを参考にさせていただきました。ありがとうございました。

3DF Zephyrで3Dモデルを作成する その1
3DF Zephyrで3Dモデルを作成する その2
フォトグラメトリ入門 撮影方法~3Dモデル作成
【フォトグラメトリ】3DF Zephyrを使ってモデルのメッシュを綺麗にする方法

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした