SKED: Sketch-guided Text-based 3D Editing

ICCV 2023

アニメとかメタバースとかいろんな応用例がありそう

概要

SKEDは、スケッチとテキストプロンプトを使用して3Dオブジェクトを編集する新しい手法。事前に学習されたNeural Radiance Fields (NeRF)を入力として使用し、複数の視点からのスケッチとテキストプロンプトを組み合わせて局所的かつ意味のある編集を行う。新しい損失関数を提案し、ベースインスタンスの密度と放射性を維持しながら、望ましい編集を生成する。

NeRF技術使ったtext & Sketchから3Dモデルを生成する

研究の背景

テキストから画像生成モデルの進化により、テキストから3D生成パイプラインが開発されているが、インタラクティブな編集には課題が残る。SKEDは、ユーザーのスケッチをガイドとして使用することで、3Dオブジェクトの編集を直感的かつ効果的に行う方法を提案する。

新規性

スケッチとテキストの統合: 2つの異なる視点からのスケッチとテキストプロンプトを使用して3D形状を編集する。
新しい損失関数の提案: 元のNeRFの密度と放射性を維持しながら、追加された部分をスケッチに従って変更する損失関数を導入。
反復プロセス: テキストプロンプトの意味を尊重しつつ、スケッチで指定された領域を編集する反復プロセスを採用。

方法

入力準備: 複数の視点からのスケッチとテキストプロンプトを用意。
スケッチ領域の定義: スケッチで指定された領域を編集するための粗い3D空間を定義。
詳細編集: Score Distillation Sampling (SDS)を使用して、テキストプロンプトに基づいた詳細で現実的な編集を行う。

実験と応用

多様なオブジェクト編集: さまざまなオブジェクトや形状に対して、スケッチとテキストプロンプトを使用して意味のある編集を行う。
漸進的な編集: NeRFを再構築または生成し、段階的に編集を行うことが可能。
定量評価と定性評価: 提案手法の有効性を定性的および定量的に実証。

注目すべき点

高い編集忠実度: 元のオブジェクトの密度と色を維持しながら、スケッチで指定された領域を正確に編集。
スケッチの多様性: ユーザーのスケッチが完全に一致していなくても編集が可能。
効率的な学習プロセス: 単一GPUで短時間で編集を実行可能。

結論

SKEDは、スケッチとテキストプロンプトを使用してNeRFを編集する新しい手法。新しい損失関数と反復プロセスを使用することで、高い忠実度と意味のある編集を実現。今後の研究や応用において、3Dオブジェクトの直感的かつ効果的な編集を可能にする重要なステップとなる。