きっかけ
ワイ君、ある日Youtubeで下のような複合MADにハマっていた。
ワイ「はえ～すっごい。これ似てるシーンつなげてるんやな。素敵やん。アニメってすごいなあ。どうやって作られてるんやろか」
ワイ「はえ〜すっごい。ちゃんと構造がしっかりしてるんやな。ん？じゃあ現実の写像なんじゃね」
o(ﾐﾟｴﾟﾐ)o「３次元復元機〜」
ワイ「現実の写像なら３次元復元可能やろなあ。２次元アニメの３次元復元て素敵やん」
説明しよう！
３次元復元とは、複数枚の２次元画像から３次元モデルを生成する手法のことだ！
図：２次元画像から復元した３次元モデル（引用：https://hdtopography.github.io/learning/SfM-MVS/GIS_uchiyama_2018/1.about_sfm/1.about_sfm.html）
ワイ「ポケモンのこのシーンをフレーム分割して３次元復元ソフトに入れるやで。ガラガラポンで出来上がるの楽しみや」
・・・・・・数分後
３次元復元機「できたやで」
ポケモンBWでフォトグラメトリ#アニメフォトグラメトリ pic.twitter.com/6qKzQIQ7Pg
— ソウ (@soh_nekocat) May 4, 2021
ワイ「ええやんけ。じゃあこっちはどないや」
・・・・・・数分後
３次元復元機「できたやで」
ポケモンBWでフォトグラメトリ２#アニメフォトグラメトリ pic.twitter.com/wFJ6lWorn3
— ソウ (@soh_nekocat) May 4, 2021
ワイ「ちゃんと３次元になってるやん！ やっぱりアニメの３次元復元は可能やったんや！」
他のアニメシーンでも試してみた
注：権利関係上、入力画像として使ったアニメのシーンは割愛
日常
日常でフォトグラメトリ#アニメフォトグラメトリ pic.twitter.com/CB6CwQBok2
— ソウ (@soh_nekocat) May 4, 2021
FGOバビロニア
FGOバビロニアでフォトグラメトリ#アニメフォトグラメトリ pic.twitter.com/3IFRFgW6U7
— ソウ (@soh_nekocat) May 4, 2021
まとめ
今回はアニメのシーンから３次元モデルを生成してみました。
アニメのカットは厳密には現実の写像ではありませんが、思ったよりもキレイに３次元復元できている印象です。
選んだシーンは主にパンと回り込みで、３次元復元に必要な要素である、画像のラップ率を高く保つことができた点が、うまくいった要因のひとつだと考えられます。
ワイ「３次元ルイズ作りたいンゴねえ・・・・・・」
使ったソフト
3DF Zephyr
https://www.3dflow.net/3df-zephyr-photogrammetry-software/