はじめに

最近の3Dモデリングツールの進化は目覚ましいものがありますが、多くの場合、専門的な知識や技術が必要とされます。「Vibe Draw」は、そんな技術的障壁を取り払い、誰でも簡単に2Dスケッチから美しい3D世界を作成できるツールとして注目を集めています。

Vibe Drawとは

Vibe Drawは「Cursor for 3D Modeling」というサブタイトルの通り、ラフなスケッチを驚くほど美しい3D世界に変換できるツールです。最大の特徴は、描画の上手さに関係なく、アイデアを直感的に3D化できる点にあります。

「Vibe Draw - Cursor for 3D Modeling」さっそく遊んでみた！
スケッチから画像をGeminiのAPIで生成して、それをTRELLISで3D化してみた！
piapi経由なら初期クレジットで動くので実質無料で動かせるのがマジでデカい！ https://t.co/NwOe6v6wjB pic.twitter.com/qRbYKPxb8h
— Maki@Sunwood AI Labs. (@hAru_mAki_ch) March 25, 2025

動作の仕組み

Vibe Drawの使い方は非常にシンプルで、以下の6ステップで3Dモデル作成からエクスポートまで完結します：

スケッチ作成: 2Dキャンバスに自由に描画
描画の強化: 「Improve Drawing」ボタンでラフスケッチを洗練された絵に改善
3D変換: 「Make 3D」ボタンをクリックして描画を3Dモデルに変換
世界構築: 3D Worldタブに切り替えて作成したモデルを配置
反復改良: スケッチまたはテキストプロンプトで3Dモデルを編集・改良
エクスポート: 標準フォーマット(.glTF)で3D世界をワンクリックでエクスポート

技術スタック

フロントエンド

Next.js & React: レスポンシブで使いやすいUI
Three.js: インタラクティブな3Dモデルのレンダリング
TLDraw: 強力な2D描画キャンバス
Zustand: 状態管理

バックエンド

FastAPI: 高性能APIフレームワーク
Celery: AI処理のための非同期タスクキュー
Redis: リアルタイム更新とタスク結果保存のためのPub/Sub
SSE (Server-Sent Events): リアルタイム進捗更新

使用されているAI API

PiAPI

PiAPIは複数のAIモデルへの統一されたアクセスを提供するプラットフォームです。様々な生成AIモデルを単一のインターフェースから利用できるため、開発者は簡単に高度なAI機能を自分のアプリケーションに統合できます。

驚きの事実: PiAPI経由なら初期クレジットのみで実質無料で動かせるのが超絶メリット！アカウント作成時に付与される無料クレジットで、すぐに3Dモデル生成を試すことができます。

Trellis API

PiAPIが提供するTrellis APIは、Microsoftの研究チームが開発した画像やテキストから高品質な3Dモデルを生成できる技術です。Vibe Drawではこの技術を活用して、2Dスケッチを3Dモデルに変換しています。

Gemini API

Google提供のマルチモーダルAIモデルで、Vibe Drawでは主にスケッチの改善や詳細化に利用されています。ユーザーが描いたラフなスケッチを、より洗練された絵に変換する処理を担当しています。

セットアップ方法

必要条件

Node.js 18+
Python 3.10+
Claude、Gemini、Cerebras、PiAPIのAPIキー

フロントエンドセットアップ

cd frontend
npm install
npm run dev

バックエンドセットアップ

cd backend
# APIキーを追加することを忘れずに
cp .env.example .env
docker compose up

実際の動作確認と感想

3Dワールド構築

2Dスケッチから生成した3Dモデルを3Dワールド上に表示し、プレビューから実際の3D空間での見え方を確認できます。スケッチから3Dオブジェクトへの変換を一連の流れで体験できるのは感動的です。

「Vibe Draw - Cursor for 3D Modeling」さっそく遊んでみた②
作成した3Dモデルを3Dワールド上に配置してみた！！！ https://t.co/PmqSfYuPIy pic.twitter.com/E9E5BNnfHe
— Maki@Sunwood AI Labs. (@hAru_mAki_ch) March 25, 2025

高品質な3Dモデル出力

GLBフォーマットでエクスポートした3Dモデルの品質は驚くほど高く、期待以上の仕上がりを実現しています。スケッチから生成されたとは思えないクオリティの高さは特筆すべき点です。

「Vibe Draw - Cursor for 3D Modeling」さっそく遊んでみた③
GLBでエクスポートしてみたけど普通に3Dモデルの品質高くね？？！！ https://t.co/TrIJCDLOY1 pic.twitter.com/JBXcsY1Vj5
— Maki@Sunwood AI Labs. (@hAru_mAki_ch) March 25, 2025

ゲームエンジンとの連携

スケッチから生成した3DモデルをUnreal Engine 5に直接インポートすることも可能です。これにより、ゲーム開発やビジュアライゼーションの効率が劇的に向上し、「町を作ってみる」など、より大規模なプロジェクトへの応用も視野に入ります。

「Vibe Draw - Cursor for 3D Modeling」さっそく遊んでみた④
スケッチから3DモデルにしてUE5に早速入れてみた！！
これはめちゃ面白い！！！！
これで町を作ってみるのもアリかも！！！！ https://t.co/AXDE8xx31R pic.twitter.com/z6rsbv1BrP
— Maki@Sunwood AI Labs. (@hAru_mAki_ch) March 25, 2025

Vibe Drawの意義

Vibe Drawの開発背景には、創造性が技術的スキルや複雑なソフトウェアによって制限されているという課題認識があります。このツールは、芸術的または技術的な能力に関係なく、誰でも3Dモデリングにアクセスできるようにすることを目指しています。

開発者の目標は、人々が自由に想像力を表現し、アイデアを3D世界に簡単に持ち込めるようにすることです。これにより、3Dコンテンツ制作のデモクラタイゼーション（民主化）が進むことが期待されます。

ライセンス

Vibe DrawはAGPLライセンスで公開されています。これは、派生作品も同じライセンスで公開する必要があるコピーレフト型のライセンスです。

まとめ

Vibe Drawは、AIの力を活用して3Dモデリングの敷居を大幅に下げる革新的なツールです。ラフなスケッチから始めて、洗練された3D世界を構築できる直感的なワークフローは、デザイナーだけでなく、3D初心者にも新たな可能性を開きます。TrellisやGeminiといった最新のAI APIとの連携により、さらに強力な機能が実現されています。

リポジトリ