1杯のラーメンをいっぱい写真撮ってZephyrで3Dモデルにした話
これは Photogrammetry Advent Calendar 2019 の1日目の記事です。
ラーメンの写真からラーメンの3Dモデルを作成したときの話を書こうと思います。
ラーメンをフォトグラメトリでメッシュ化したらどうなるの？
フォトグラメトリ という技術があります。これを使えば、複数の静止画から3Dモデルを作成できます。
ラーメンをフォトグラメトリでメッシュ化したらどうなるの？
これが、フォトグラメトリという技術に触れて最初に思った疑問でした。
2019年7月7日にTIMEMACHINEさんで開催された STYLY Photogrammetry Workshop で、はじめてフォトグラメトリに触れました。
あまりにも簡単に実写風のメッシュが生成できて感動したので、さっそく、帰り道でラーメン屋に立ち寄り、ラーメンの写真を12枚ほど撮影しました。（念のため、店員さんにお許しをいただきました。）
そうしてできたのが、こちらです。
さっそくラーメンでフォトグラやってみましたｗ
— せぎゅ (@segur_vita) July 7, 2019
写真の枚数が全然足りなくて、穴だらけのメッシュですが、懸念していたスープの透過や反射は、それほど悪影響はなさそうです。 pic.twitter.com/HU9Mx6zig6
穴だらけではありますが、想像以上に綺麗にできてびっくりしました。
使用したツールはこんな感じです。
- 撮影機材：iPhone Xのカメラ（静止画12枚）
- ソフト： 3DF Zephyr Free
3DF Zephyrの詳しい使い方はこちらを参考にさせていただきました。
これをきっかけに、ラーメンや食器を日々メッシュ化するようになりました。
撮影枚数を増やすためにテーブル席のあるラーメン屋を探した
丼の裏側は撮影できていないため、きちんとモデルが作れていません。完成度を上げるためには、死角ができないように上下左右前後から、ラーメンをくまなく撮影する必要があります。
そうなると、カウンター席ではなくテーブル席で撮影することが望ましいです。（テーブルの周りをぐるぐる撮影します）
しかし、ある問題が浮上しました。
テーブル席のあるラーメン屋って、結構少ないんです！（東京の場合）
テーブル席のあるラーメン屋を探す日々が始まりました。
なんとかテーブルのあるお店を見つけてできたのが、こちらです。
今度は家系ラーメンで #フォトグラメトリ やってみました！@mononou さんと協力して撮りまくった280枚の写真から、ピンボケしたのを取り除いた120枚でやりました。
— せぎゅ (@segur_vita) July 17, 2019
海苔のメッシュが想像よりも綺麗で嬉しいです！
次の課題は丼とレンゲかなぁ#Photogrammetry pic.twitter.com/14r2Z9O6eu
死角のないようにとにかく撮りまくった結果、280枚になりましたｗ（その内使ったのは120枚です。）
おかげさまで、海苔が重なっている部分とかの精度がかなり向上しました！
ちなみに、静止画120枚をZephyrに取り込もうとしたところ、Free版は最大50枚までだったため、思い切って
3DF Zephyr Lite を購入しましたw
これで500枚まで取り込めるようになりました。
Unityで湯気を再現してみた
作ったものを友人や知り合いに見せて回ったところ、とある人から言われました。
湯気があるともっといいよねーｗ
衝撃を受けました。
早速、湯気の再現に取り掛かりました。
パーティクルシステムで実現できないか調査したところ、以下の記事を見つけました。
Unity ParticleSystem Lesson:舞い上がる煙
こちらを参考にして、無事にパーティクルシステムで湯気を出すことに成功しました。
アワードに応募することにした
ちょうどその頃、 STYLY Photogrammetry Awards 2019 というイベントがVR作品を応募していました。
これに応募してみることにしました。
レンゲや箸といったラーメン関連物を片っ端から3Dモデル化し、VR空間に設置してみました。
そうしてできたのが、 ラーメン背牛 です。ぜひご覧ください。
STYLYさんにアップロードしたのはこちらです。
— せぎゅ (@segur_vita) July 21, 2019
丼とかごますり器とかいろいろ詰め込めこんだら、すごく重たいシーンになってしまった。。。https://t.co/wyXnAckbQ5 #STYLY
残念ながらファイナリストには選ばれませんでしたが、自分としては、大好きなラーメンに囲まれて非常に楽しい空間が作れたと思ってますｗ
今後の課題：もっとメッシュを綺麗にしたい
メッシュがガタガタなので、これらを綺麗にすれば完成度がぐっと上がると思いました。この辺りはBlender等の技術を磨く必要があるなと感じました。
たとえば、丼なんかは円柱や円錐を組み合わせて加工すればもっと綺麗なメッシュになると思います。（その場合、フォトグラメトリとは呼べない気もしますが・・・）
また、ポリゴン数が多すぎるのも課題です。特徴が失われない範囲でポリゴン数を減らし、データ量を抑えたいなと思います。
さいごに
本記事作成にあたり、以下のページを参考にさせていただきました。ありがとうございました。