人工知能はさまざまな業界で活用されており、私たちは3Dアセット生成の可能性に期待しています。ゲーム開発者やスタジオにとって、3Dアセットはしばしば開発のボトルネックとなる最も厄介な部分のひとつです。1つのモデルを制作するのに60ドルから1500ドル、2週間から10週間かかる。高忠実度の3Dモデルは悪名高く高価であり、作るのにも使うのにも、技術的に高価です。
ジェネレーティブAIとecho3Dのようなプラットフォームの支援により、両方のコストを削減することができます。AIは驚異的なスピードで3Dアセットを生成できるため、これらの3Dアセットのストレージの必要性が高まっています。echo3Dのような3D資産管理プラットフォームは、3D資産の保管とコンテンツ配信を支援します。
3D用の新しいAIツールは日々登場しています。
ARでiPhoneのスキャン画像からこのようなピンポン台を作成するLuma AIをお試しください。
1. Get3D by Nvidia
この生成AIは、単純な2D画像のみを使用して学習された。忠実度の高いテクスチャと強固な幾何学的ディテールを持つ3D形状を生成することができる。一般的なフォーマットで生成されるため、モデルをエクスポートしてすぐに使用できます。Get3Dは、建物、乗り物、キャラクターなど、あらゆる3Dオブジェクトを生成できます。
彼らのジェネレーティブAIに対するスタンスは、3D環境のディテール不足がシーンの信憑性を損なうのを補うことだ。彼らの信念は、チームが膨大なリソースを費やして作成するような小さなディテールも、AIを使えば数分で完成させることができるというものだ。例えば、繰り返しのない乗り物や、大群衆の中のキャラクターを、信憑性のある行動でランダムに出現させることができる。
「NVIDIAのAI研究担当副社長であり、このツールを開発したトロントのAIラボのマネージャーであるSanja Fidler氏は、「GET3Dは、AIによる3Dコンテンツ制作の民主化に一歩近づきました。「テクスチャ付きの3D形状を即座に生成するこの機能は、開発者にとって画期的なものであり、仮想世界に多様で興味深いオブジェクトを迅速に配置するのに役立ちます。
GET3Dはオープンソースで、こちらのGithubで入手できる。
2. 3DFY.ai
3DFYは、高品質の3Dモデルを作成できるテキストから3Dへのジェネレーターです。3DFYのインターフェースには、画像から3Dへのジェネレーターを使用するオプションもあります（利用可能になり次第）。アセットは、プロジェクトスコープが何であれ、高品質のUVマッピングで複数の詳細レベル（LOD）で作成されます。
彼らのプロセスは、前処理、分析、そして合成です。バックエンドでは、テキストや画像が標準化され、クリーンアップされる。テキストの場合、定義のないトークンは削除され、入力はより機械可読な言語に変換される。画像の場合は特に、トリミングされ、背景を除去することで目的のオブジェクトが分離される。その後、データはオブジェクトコードにレンダリングされ、最終的にオブジェクトコードから3Dアセットが生成されます。
ここで3Dモデルの一部を見ることができる。ウェイティングリストへの登録はこちらから。
3. Sloyd.ai
Sloydはゲーム専用に作られています。3Dアセットを自動作成するためのオンラインツールです。各モデルはUVアンラップされ、リアルタイムで使用できるように最適化されているため、プロジェクトに直接組み込むことができます。Sloyd SDKは、さまざまな環境でのリアルタイム3Dアセット作成に使用できます。ユーザーはルールセットに基づいてプロシージャルなゲームやシミュレーションを生成することができます。Sloydには、特定のプロジェクトに合わせてカスタマイズできるジェネレータのライブラリがあり、開発者はリアルタイムで3Dアセットを生成するタイミングや方法を柔軟に選択できます。
Sloydエンジンは、サーバーサイドであろうとユーザーサイドであろうと、33ミリ秒以内に何百万もの頂点を生成することができます。各アセットには頂点数に見合った詳細があり、画像は保存されずに生成されるため、ストレージの節約に役立ちます。
詳しくはDiscordに参加するか、ベータ版ウェブアプリまたはSDKをお試しください。
4. Gepetto.ai
彼らの哲学は少し異なり、3Dアセットの標準的な制作を最適化することよりも、AIを中心としたゲームや映画の新しいジャンルを構築することに関心がある。彼らの特徴であるCollodiは、「ゲーマーのためにホロデッキのような体験を構築する」ことができる。
また、アニメーション、ディープフェイク、ロトスコープ、VFX、特殊効果を自動化できる映画制作用のツールも開発している。ゲーム向けには、無限のサンドボックスゲームプレイ、AI RPG、複雑なダイアログメカニズム、ゲームプレイの決定に基づいて生成できるゲーム世界のためのAIゲームツールを開発している。チームで各レベルを作るのに必要な出力は、ジェネレーティブAIによって指数関数的に減少する。
Collodi 3D AI ModelとそのAIは、こちらでキャンセル待ちを受け付けています。
5. Luma AI
Luma AIのImagine 3Dツールは、テキスト入力でフルカラーのテクスチャ付きフルソリッド3Dモデルを生成します。Luma AIは、リファレンスにリアルタイムイメージングを使用しているため、競合他社よりも高品質な3Dアセットを生成できると言われている。Luma AIのユニークな点は、iOSデバイスで動作するため、ユーザーがすでに現実世界で慣れ親しんでいる環境で3Dアセットを生成できることだ。
ユーザーは自分の2D画像を使って3Dモデルを生成し、ウェブアプリでアニメーションやその他のディテールを編集できる。これは、ARの創造的な使用への迅速な道筋を提供する。ハードウェア・トリガーを使って実際のドアを通り抜けるポータルを作成した様子は、以下のビデオをご覧ください。
彼らのアプリはApp Storeで無料。
6. Masterpiece Studio
Masterpiece Studioには、生成、編集、共有というシンプルな3つのステップがある。彼らは、ゲームに使える3Dアセットを作成する「初のジェネレーティブAI」（彼らの言葉であり、私たちの言葉ではない）を構築した。目標は、10億人の3Dクリエイターに到達することだ。3Dアセット管理は大変だ！
同社のプラットフォームには、クリエイターが使用可能な3Dアセットを生成するためのツールセット全体が用意されている。これは、ライブラリやアセットパックからランダムな3Dアセットを見つけ、変換やUVマッピングの問題など、細部に問題があるという問題を解決します。Masterpiece Studioで生成されたアセットは、すぐに使用できます。
ウェイティングリストへの登録はこちらから。
7. Google DreamFusion
Google版の3Dモデル用ジェネレーティブAIは、3Dモデルデータに関するトレーニングは必要ないが、3Dモデルの生成方法も他のプラットフォームとは少し異なっており、ゲーム開発には向かない。
このシステムは、Imagenのテキストから画像への拡散モデルによって生成されたオブジェクトの2D画像を使用して、生成しようとしているモデルのさまざまな視点を理解する。このプロセスは、GoogleエンジニアによってScore Distillation Sampling（SDS）と呼ばれている。SDSは基本的な外観を作成し、DreamFusionは正則化の追加やジオメトリの改善など、モデルを埋めるためのアセットを最適化します。処理後、これらのモデルは高品質の法線を持ち、通常の3Dモデルのようにライティングすることができます。
こちらをご覧ください。
その他
Stable Diffusion for Blender
これは技術的に3Dモデルを生成するものではないため、選考には入れなかったが、特筆に値する！モデル開発や参考資料として使用できる2D画像を生成します。
Stability AIは、Blenderのプラグインとして一連のツールを作成し、既存のプロジェクトで動作し、新しい画像、テクスチャ、アニメーションを作成するためにtext-to-generate機能を利用します。これは彼らのtext-to-imageジェネレーターと同様の働きをしますが、既存のワークフローで動作するようにカスタマイズされ、Blenderプログラム内に構築されています。
この一連のツールの印象的な機能は、アニメーションを生成する機能です。アニメーション機能は完全ではないが、それでもかなり楽しい。とにかく粗いアニメーションを好む人もいる！これは完全に無料のプラグインであり、実行するために追加のソフトウェアやスペースを必要としない。セットアップには、Blenderの最新バージョンとStability AIからのAPIキーが必要です。
各機能を紹介するチュートリアルの包括的なリストがあります。
Point-E by OpenAI
Point-Eは、従来の意味での3Dモデルを生成しません。ロバストで3D対応の3Dモデルを生成する代わりに、3D形状を表現する空間内のデータ点である点群を生成します。Point-Eは、text-to-imageとimage-to-3Dの2つのモデルタイプで構成されています。テキストプロンプトから3Dオブジェクトを生成するために、Point-Eはtext-to-imageモデルを使って画像をサンプリングします。
このAI Businessの記事によれば、「我々の方法はサンプルの品質という点ではまだ最先端には及ばないが、サンプリングの速度は1～2桁速く、いくつかのユースケースでは実用的なトレードオフを提供する」という。
OpenAIの研究チームは、点群拡散モデルと評価コードをGithubで公開している。
echo3D
echo3D (www.echo3D.com; Techstars 19') は3Dアセット管理のためのクラウドプラットフォームで、開発者が3D/AR/VRゲーム、アプリ、コンテンツを迅速に構築・展開できるよう、ツールとクラウドインフラを提供している。
購読者限定情報をお届け『DeepMagazine』