2
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

360°カメラ×AIモデリング×UE 5.9:広域空間再構成の制作フロー展望

2
Posted at

はじめに

前回の記事では、360°カメラで撮影した映像からMetashapeで高密度点群(dense point cloud)を作り、Claude CodeとBlenderで広域をAIモデリングする制作フローを紹介しました。dense point cloudをClaudeに渡すことで、約2時間・修正1回で現実に近い結果が得られています。

banner_ja.png

その後、Unreal Engine 5.9 Preview(MegaJam Preview、続いてPreview 2)が公開されました。私もこの2週間、廃校と大山阿夫利神社のデータで、AIモデリングとUE 5.9を組み合わせた制作を試してきました。

本記事では、その実践で見えた手応えと、UE 5.9の新機能を踏まえた「空間再構成×UE 5.9」の制作フローの可能性・展望をまとめます。

※UE 5.9はPreview版です。後半の「展望」には、まだ検証していない仮説も含みます。

これまでの実践

廃校:AIモデリング+UE 5.9

廃校のdense point cloudをもとに、Claude(Fable 5.2)がBlenderで校舎をモデリングし、UEへエクスポートしました。植生はUE内で、Fab経由のMegascans植物を使っています。

  • 制作時間は修正指示を含めて約5時間。Maxプランでトークン制限にかかることはなかった
  • スケールはAI推定
  • UE 5.9からMCP経由でFabアセットを自動ダウンロードでき、植生の配置が楽になった
  • 3DGS特有の視点破綻がないので、自由にカメラを動かせる

さらに、基データに追加情報を与えることで、昭和初期の開校当時の姿もフル3Dで復元できました。現実をそのまま写すだけでなく、「過去」を作れるのはAIモデリングならではです。

大山阿夫利神社:四季のシミュレーション

密点群からAIで広域を3Dモデリングし、UE 5.9で植生や天候を変えて四季を表現しました。同じ石段と灯籠が、桜・深緑・紅葉・雪へと移り変わります。3D再構成の「その後」に付加価値をつける試みです。

ブラウザ版:Three.js

同じAIモデリングの成果をThree.jsに変換し、ブラウザで公開しました。春夏秋冬とBGM付きで約30MB、すべてプロシージャルで画像テクスチャはありません。品質はUEに劣りますが、ブラウザで手軽に見られるのは大きな利点です。

スキルを「育てる」

点群から3DモデリングするClaudeのスキルをGitHubで公開・更新しています。スキルは「どの現場でも通用する手順書と道具」、レシピは「現場ごとの作業記録」です。モデリング中に気付いた点を指摘し、スキルを更新していくと、スキル自体が成長していきます。新人を育てる感覚に似ています。

見えてきたこと:成果物を3つの役割で使い分ける

fig1_ja.png

実践を通じて、空間再構成の成果物は役割で分けて考えるのが良いと感じています。

  • 見せる(3DGS):見た目の再現性は高いが、視点移動で破綻しやすく、衝突判定にも向かない
  • 理解させる(dense point cloud):AIが空間とスケールを把握するための「下絵」
  • 動かす(AIモデリングしたメッシュ):視点破綻がなく編集も容易。季節・天候・時代まで変えられる

3DGSを否定するのではなく、目的に応じて組み合わせるのがポイントです。

制作フローの全体像

fig2_ja.png

  1. 360°カメラ(OSMO360/AVATA360)で撮影
  2. Metashapeでdense point cloudを生成し、Clean Point Cloudで低信頼点を除去
  3. 360 MCConverterでCubemap、COLMAP、dense.plyを出力
  4. ClaudeがBlender MCP経由でモデリング(スキル+レシピを参照)
  5. UE 5.9へ持ち込み、Unreal MCPでFab植生の導入や季節・天候の変更
  6. UE 5.9で映像化、またはThree.jsでブラウザ公開

撮影と点群生成の手順は、以下の3DGSガイドの「COLMAP Cubemapに変換する」の章までを参照してください。

UE 5.9 Preview 2 で押さえておきたいこと

以下はEpicのフォーラム告知とリリースノートで確認できた内容です。

位置づけ

  • エージェント的なワークフローで主に作られた、初めてのUnreal Engineリリース
  • 開発期間は約1週間、QAも通常より短い。正式版の5.9は来年の予定
  • Epicも、Previewは不安定であり、プロジェクトのコピーで試すよう案内している

空間再構成の制作に関係しそうな機能

  • Unreal MCP(Experimental):エディタと同時に自動起動し、接続の信頼性が向上。ツールセットが、レンダリング、ジオメトリ、レベル作成などへ拡大。Fabツールセットでは、エージェントがカタログを検索してアセットを導入できる
  • Unreal Assistant(Experimental):Claude Code、Codex、Cursor、OpenCodeをエディタ内パネルから使え、Unreal MCPに接続される。ツールアクセスはAsk/Read/Edit/Auto/Fullで制御できる
  • Pythonスクリプトの拡充:モデリング、物理、Niagara、マテリアル、PCG、UIなどが対象
  • Unreal Canvas(Experimental)とCanvas Bridge:Movie Render Graphによるレンダリングを、MCPツールとして呼び出せる
  • ブラウザ実行(Experimental):WebAssemblyとWebGPUで動作。モバイルレンダラーを使い、現状はソースビルドとC++プロジェクトが必要

Gaussian Splatは「要検証」

ロードマップには、PLYやSPZのGaussian Splatをインポートし、Niagaraと連携する実験的機能が掲載されています。ただし、Preview告知の本文にはこの記載がなく、動作はコミュニティ経由の報告にとどまります。使えるものとして扱うのは時期尚早です。

展望:これから試したいこと

ここからは仮説です。

1. 仕上げまでエージェントに任せる

廃校ではFab植生の導入までMCPで自動化できました。次は、Canvas Bridge経由でMovie Render Graphのレンダリングまでつなぎ、ライティング、カメラワーク、書き出しをエージェントに任せられるかを試したいと考えています。

2. 「時間」を付加価値にする

阿夫利神社の四季や、廃校の昭和初期復元のように、再構成した空間を素材にして、季節・天候・時代の違うバリエーションを作れます。観光、文化財のアーカイブ、映像のプリビズなど、3D再構成の「その後」の使い道が広がります。

3. 広域は点群+PCG+World Partitionで組む

点群から道路や植生の範囲を抽出し、PCGで植生を配置する流れをPython/MCP経由で自動化できれば、1.5km規模のデータでも扱いやすくなるはずです。

4. Web配信をUEに一本化する

現在はThree.jsで軽量版を作っていますが、UE 5.9のWeb出力が育てば、UEの品質のままブラウザで見せられる可能性があります。ただし現状は実験段階で、ソースビルドとC++プロジェクトが必要です。

5. 3DGSとメッシュの併用

UEでSplatが安定して扱えるようになれば、「遠景や参照は3DGS、動かす部分はAIモデリングしたメッシュ」という分担が現実的になるかもしれません。

課題と注意点

  • Previewの不安定さ:Experimental機能が多く、フォーラムではRTX 5090でPyTorchが対応CUDAに合わないという報告もあります。必ずプロジェクトのコピーで試してください
  • 単位と座標系:Blenderは右手系・1ユニット=1m、UEは左手系・1ユニット=1cmです。持ち込み時のスケールと向きに注意が必要です
  • スケールの精度:AI推定のスケールは測量精度ではありません。精度が必要な用途では既知寸法で校正してください
  • エージェントの権限:AssistantのツールアクセスはAsk/Edit程度から始め、AutoやFullは慣れてからにするのが安全です
  • 撮影対象の権利とプライバシー:公道や私有地、人物の写り込みは、マスク処理と利用範囲の確認が必要です

最後に

広域AIモデリングは発展途上の分野で、UEのAI関連機能もPreviewの段階です。それでも、点群から作ったモデルにUE 5.9で季節や時代を与えられるところまで来ました。最新の制作フローはX(@kotohibi_3d)で発信しますので、ぜひフォローしてください。

OSMO360やAVATA360のデータでAIモデリングを試してみたい方とのコラボレーションも募集しています。詳細はタイムラインをご覧ください。

参考

2
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?