GPT-4を開発するOpenAiが、テキストや画像を入力することによって3Dモデルを生成するshap-eを発表しました。
shap-eは、NeRF(Neural Radiance Fields)とテクスチャで3Dモデルを生成する仕組みになっているそうです。

論文 ->

GitHub - openai/shap-e: Generate 3D objects conditioned on text or images
https://github.com/openai/shap-e

ブラウザからAPIをcallするサンプルが作られているので、それを試してみます

テキストの入力欄にプロンプトを入力し、runを押下するだけで3Dモデルが生成されます。
例えば、
「 quadrupedal locomotion fish 」
のように入れると処理が行われます。

「Advance options」
Seed(シード値)
Guidance scale(ガイダンススケール)
Number of inference steps(ステップ数)

crocodile rabbit

fish quadrupedal locomotion

cow with big wings on its back

cow with big crab hands