はじめに

私はベガコーポレーションで3Dモデラーをしています。

最近さまざまなところでAIが話題になったりしていますが、当社でも積極的にAIを活用していこうという流れになっています。
その中で3DモデルもAIで作成出来ないかという話になり、試した結果思ったより使えるという印象だったのでこの記事を書きました。少しでも参考になれば幸いです。

今回の記事ではおくROOMというアプリ向けにAIを使用して3Dモデルを作成した方法について記載しています。
また記事の最後にAIに使用する画像はどのような画像だとより良く生成出来るのか
試した結果を載せているのであわせて参考にしてみてください。

使用するソフト

TripoAI
Blender
Instant Meshes
Substance Painter
(Photoshopなどの画像加工ソフト)

作成するもの

LOWYAで販売されているソファを作成していきます。

作成の流れ

1.TripoAIを使って3Dモデルを生成する
2.Instant Meshesを使用してリメッシュする
3.Substance PainterでTextureを作成する

1.TripoAIを使って3Dモデルを生成する

AIを使って試した結果に関しては後で記載します。

AIが良い感じに生成してくれるための画像を作成する

背景を取り除いて家具だけの画像にします。
やらなくても良いかもしれませんが、試した結果やった方が精度が良く感じました。

今回はこの3枚を読み込ませて作成します。

複数枚の画像からの生成は有料プランのみにはなりますが、1枚だけでも結構良い感じに生成してくれます

生成したものはこんな感じです


ポリゴン数を指定していないので大体△100万くらいで生成されました。

2.Instant Meshesを使用してリメッシュする

Instant Meshesはポリゴンの流れを指定して、良い感じに指定したポリゴンまで削減してくれます。
詳細なInstant Mesheの使い方などは
https://styly.cc/ja/tips/jp-instant-meshes/ を参考にしてください。

私個人の環境で作成するならZbrushを使用して余分なしわを消したり、足りない箇所を追加したりした方が良い感じになる気がしますが、~~金額がお高いので~~会社ではInstantMeshesを使用しています。

TripoAIから出力した状態がこれで

削減後がこちらになります。約△4000くらいまで削りました。
ちょっと削りすぎたかな？感がありますがアプリ的に軽くて損は無いのでこのままいきます。

リメッシュ後のモデルとAIで生成したモデルを
Blenderへインポートし、サイズ感を元のソファに合わせてスケールを調整します。

その後リメッシュしたモデルの三角ポリゴンが気になるので、なんとなく良い感じに手直しをしてUV展開までしておきます。

修正後がこちら

3.Substance PainterでTextureを作成する

モデルをインポートし、メッシュマップベイク画面へ

高精細メッシュにAIで生成したモデルを指定する

ケージを調整してベイク(Lowポリの描画がHighポリ部分を覆うように設定)

マテリアルを設定して完成

おまけ-AIで良い感じに生成するために色々試した結果-

Textureが生成されてたりされてなかったりしますが許してください。

画像1枚のみで生成

画像1枚から4面図に画像を生成して3D化

3面図から生成(正面、左、後ろ)

3面図から生成(斜め、左、後ろ)

3面図から生成(正面、左、下面)

4面図から生成(正面、左、後ろ、下面)

ポリゴン数を指定して生成(画像1枚)

生成後リメッシュ(画像1枚)

背景が白い画像から生成(正面)

背景が白い画像から生成(横)

背景が白い画像から生成(後ろ)

感想

背景は生成したい部分が目立つように加工した方が良い

今回のソファが白っぽかったので黒背景が良い感じだった説。

6面図から生成出来るようになったら良いな

物にはよるかもしれませんが、画像1枚のが良い感じに出来る印象でした…
今回のソファも1枚のほうが良かったけど後ろや下面が出来ないので悩みました。

テクスチャはあまり綺麗に出来ない

ファブリック生地なのにテカってたり
ラインが入ってると繋がってなかったり、消えたりして微妙でした。
特に複数枚の画像を読み込ませた時に消えがち。

ポリゴン数低めで最初から生成するのは微妙

ベイクをしてくれるわけじゃなくて、ポリゴンが減らされてるだけだから細かいしわ感が無くなって残念でした。
リメッシュをAIでやってしまってベイクするのは良いかもしれない。

自分で撮影して生成するなら、全体像(斜め前)の画像はもう少し高めから撮影すると綺麗だったかもしれない

真正面低めからだと座面部分がエビの尻尾みたいになっていて違和感がありました。

画像1枚さえ用意できればかなり精度の良いモデルが出来る

仕事で使用したので今回は考えないものとしていましたが
権利的に問題のないデザインの画像を用意するのが一番難しいんじゃないかと思ったりします。
商用的に利用しないのであれば他のAIとも組み合わせて画像を用意→3D化が実用的かなと思います。
(商用的に利用する場合はAIで出力された結果が権利的に問題ないかよく精査する必要があると思います。)

ライセンス料がとにかく安い

無料でも使用することが可能で(生成したモデルがCC BY 4.0ライセンスですが)
月額のライセンス料は¥3,000/月と安いです。とにかく安い。試す価値ありです。
Proプランでは3000クレジット/月が付与されますが、色々試しても300クレジットくらいしか使用しなかったので特に困ることは無いように思います。