iPhoneで物体を3Dモデル化してみた！

Posted at 2022-10-11

※再投稿
本記事は朝日新聞社 Advent Calendar 2021の16日目の記事です！

前回のARフィルターは…

以前『特別展「植物」でARフィルターを内製開発してみた話』という記事を書きました。

この記事では弊社の文化事業である特別展『植物』にてSparkARを使ったAR開発を行ったということに関して書きました。

前回の記事を同僚や、友人に読んでもらい様々な感想を頂きました。

その中に特に耳に残っているものがあります。

??「3Dモデリングはコストたけーよ」

さらっとBlenderを使って3Dモデルを作成すると前回記事には書きましたが、SparkARでの実装を中心に据えたために、3Dモデリングに関する部分が非常に小さく、そして簡単なまとめとなってしまいましたこと、ここに陳謝いたします。

そう。3Dモデリングは難しいのですよ。
前回の3Dモデルの作成はボクがすべて行ったのですが、初心者ということもあり、ディティールの作り込まれたクオリティが高いものは作ることができませんでしたし、すべて作成するのにもそれなりの時間を要しました。

AR開発にある程度時間が取れるのであれば良いですが、それがメイン業務ではない部署の場合は、3Dモデリングができる技能があったとしてもその開発の時間はなかなかとれないと思います。

ということで、今回はiPhoneのアプリケーションを使って写真撮影とほぼ同じコストで3Dモデルを作成する方法をご紹介したいと思います。

見つかった課題

先にも述べたように「3Dモデリングをする」ことのハードルが高いです。
InstagramにARフィルターを投稿するためのフローをもう一度見てみましょう。

どういうARフィルターを作るか考える
素材を作る
1. 3D素材を用意する(作成する)
2. 2D素材を用意する(作成する)
3. 音声素材を用意する(作成する)
素材を組み合わせてARコンテンツにする
SparkAR Hubにアップロードする

このようなフローでARコンテンツを開発していきます。

さて…このフローの中で一番ボリュームがある作業はどれでしょうか？

2. 素材を作る
    1. 3D素材を用意する(作成する)
    2. 2D素材を用意する(作成する)
    3. 音声素材を用意する(作成する)

そうなんです。
「2. 素材を作る」がAR開発の作業量の中で一番ボリュームがあります。

3D素材(立体物)を作る、2D素材(イラスト等)を描く、音声素材(BGM)を作るのには、技術はもちろんのこと「才能」も必要です。
一朝一夕で身につくことではありません。

AR開発においては、素材の作成が非常に重要になってきます。

今回は3D素材を手軽に作る方法を探してみました。

3Dモデリングを手軽(?)にやる方法

手軽かどうかはなんとも言えませんが、絵心、3D心がない人間にも3Dモデルが作れるようにいくつかの技術があります。

フォトグラメトリー
レーザースキャン

巷でよく話題になるのはこの２つです。

詳細はそれぞれググっていただきたいのですが、誤解を恐れずに簡単に書くと…

フォトグラメトリー：大量の写真から3Dモデルを生成する技術

レーザースキャン：深度センサーによってカメラと物体の距離を計測し、オブジェクトの座標から3Dモデルを生成する技術

それぞれ、3Dモデルを生成後に3D編集ソフトで手直しをすることはあれど、うまく行けば3Dモデルをそのまま使うことが可能です。

iPhoneだけで3Dモデルを作る

ということで手軽にフォトグラメトリーもしくはレーダースキャンができるアイテムを探していたわけなのですが、身近なところにありました。

2020年10月14日にApple社から発売されたiPhone12 Proです!!

このiPhone12Proという製品、実はカメラ以外にも「LiDER」というセンサーを搭載していまして、このセンサーで深度計測をすることができるのです。

iPhone12Proが発売されてから少しずつ、このLiDERセンサーを活用した3Dモデル生成アプリが世の中に出てきています。

日常的にウォッチしている情報群にもiPhoneのLiDERセンサーを使った3Dモデリングの作成についての情報がちょくちょく出てきていました。

Apple製品にLiDERセンサーが搭載されたタイミングから、ボクのTwitterタイムラインにはLiDERセンサー付きのiPad, iPhoneで3Dモデルを生成している人がたくさん出始め、友人や知人の何人かはそれで遊んでいました。

現時点で手軽に3Dモデルを作るのであればiPhone12Pro, 13Proを用意するのが一番コスパの良い方法だと思います。

いろいろある立体化アプリ

さて次は立体化アプリの選定です。
様々なアプリがApp Storeに公開されています。

今回は下記の２つのアプリケーションを使いました。

Polycam

Trino 3D Scanner

これらのアプリケーションはどちらもフォトグラメトリーとレーダースキャンに対応しており、使いやすいアプリケーションでした。
Polycamは制限付きで無料。Trinoは有料アプリとなります。

フォトグラメトリーでの3Dモデル生成であればLiDERがついていないiPhone, iPadでも利用可能ですので、ぜひ試してみてください。

ちょっとバケツを撮影してみる。

試しにPolycamを使って、自宅のバケツを撮影してみようと思います。

使い方はとても簡単で、撮影ボタンを押してオブジェクトのまわりをぐるぐる回るだけですべてが完了します。

録画モードだと撮影音が「パシャパシャ」と一定間隔で鳴るので、撮影対象の周りをいい感じに回ってください。

最低枚数以上を撮り終えたら、あとは3Dモデルの生成をスタートさせて、しばらく待てば完了です。

とっても簡単ですね。

こんな感じの3Dモデルができます。

余計な部分はある程度アプリケーション内で除去することができます。

完成した3Dモデルは様々な拡張子で書き出すことができるので、SparkARが対応している拡張子、objだったりGLTFで書き出してください。

3Dモデルを書き出したら、あとはSparkARなりBlenderなりで読み込んで素材として使うだけです。