生成AI で Image to 3D による 3Dモデル生成：「TRELLIS」と「Stable Point Aware 3D」

Last updated at 2025-01-14Posted at 2025-01-14

生成AI で 3Dモデル生成という話は色々なサービスの情報を見かけますが、自分が個人的に気になったサービスを 2つほど試した際のメモとなる記事を書いてみました。

わりと最近出たと思われる 2つについて API・モデル関連の情報を調べてみたり、軽く試してみたという内容です。

情報を見てみたり試してみたり

「TRELLIS」と「Stable Point Aware 3D」について、情報を少し見てみたり軽く試したりしてみます。

TRELLIS

1つ目は Microsoftさんの「TRELLIS」です。

●TRELLIS: Structured 3D Latents for Scalable and Versatile 3D Generation
　https://trellis3d.github.io/

●microsoft/TRELLIS: Official repo for paper "Structured 3D Latents for Scalable and Versatile 3D Generation".
　https://github.com/microsoft/TRELLIS

API やモデル関連の情報を見ていくと、記事執筆時点では以下のモデルが取得可能となっているようです。

上記を見た感じ、これから公開予定のモデルもあるようです。

試してみる

手軽に試すなら以下の Hugging Face上のデモサイトを使うのが簡単そうでした。

●TRELLIS - a Hugging Face Space by JeffreyXiang
　https://huggingface.co/spaces/JeffreyXiang/TRELLIS

ChatGPT を使った画像生成と組み合わせて、こんな感じで試してみました。

Stable Point-Aware 3D

次は Stability AI の Stable Point Aware 3D です。

最近出たばかりで、以下などのニュース記事も出ていました。

●Stability AI、画像を1秒で3Dモデル化する「Stable Point Aware 3D」を発表、リアルタイム編集も可能 - 窓の杜
　https://forest.watch.impress.co.jp/docs/news/1653138.html

プロジェクトページなどは以下になるようです。

●SPAR3D
　https://spar3d.github.io/

●Introducing Stable Point Aware 3D: Real-Time Editing and Complete Object Structure Generation — Stability AI
　https://stability.ai/news/stable-point-aware-3d

試してみる

そして以下がデモページのようです。

●Stable Point-Aware 3D - a Hugging Face Space by stabilityai
　https://huggingface.co/spaces/stabilityai/stable-point-aware-3d

先ほどと同じ画像で試してみました。

API の情報

こちらは以下のとおり、API でも利用できるようです。

●Stability AI - Developer Platform
　https://platform.stability.ai/docs/api-reference#tag/3D/paths/~1v2beta~13d~1stable-point-aware-3d/post

コードサンプルも提供されています。JavaScript だと以下となるようです。

import axios from "axios";
import FormData from "form-data";
import fs from "node:fs";

const payload = {
    image: fs.createReadStream("./cat-statue.png"),
};

const response = await axios.postForm(
    `https://api.stability.ai/v2beta/3d/stable-point-aware-3d`,
    axios.toFormData(payload, new FormData()),
    {
        validateStatus: undefined,
        responseType: "arraybuffer",
        headers: {
            Authorization: `Bearer sk-MYAPIKEY`,
        },
    },
);

if (response.status === 200) {
    fs.writeFileSync("./3d-cat-statue.glb", Buffer.from(response.data));
} else {
    throw new Error(`${response.status}: ${response.data.toString()}`);
}

わりとシンプルな画像の POSTリクエスト、という感じのようです。

おわりに

今回、2つほど Image to 3D を試してみました。

元画像は ChatGPT で生成したものを試したのですが、公式のサンプル画像などを見てみたところでは、おそらくもう少し 3D っぽい画像を使うのが良さそうな感じがしました。
（あと、当初は真正面から見たような画像なども試してみてたのですが、その場合は例えば TRELLIS だとビルボードのようなものが生成されただけとなっていました）