Segment Any Mesh (2025)

Segment Any Mesh (Tang, 2025)

3行要約

1. ✨ 提案手法Segment Any Meshは、ゼロショットでメッシュのパーツ分割を行う新しい手法です。
2. 🖼️ この手法は、メッシュのマルチビューレンダリングにSegment Anythingを適用して2Dマスクを生成し、それらを3Dメッシュのパーツ分割に持ち上げます。
3. 🚀 特に、サーフェス法線やShape Diameter Functionスカラーなどのマルチモーダルレンダリングを用いることで性能が向上し、多様なオブジェクトに対して既存手法を上回る汎化性能を示しました。

Q:この論文の概要を教えてください

A:

本論文は、既存のshape analysisベース、learning-based、そして近年の手法の限界を克服する、新しいzero-shot mesh part segmentation手法であるSegment Any Meshを提案しています。提案手法は、multimodal renderingと2D-to-3D liftingという2つのフェーズで動作します。

最初のmultimodal renderingフェーズでは、入力meshのmultiview rendersを生成します。本手法では、単にuntexturedなmeshをレンダリングするだけでなく、surface normalsやShape Diameter Function (ShapeDiam) scalarsといった異なるmodalityのfeature rendersも利用します。これらの各視点からのレンダリング画像に対して、Segment Anything (SAM) を適用して2D masksを生成します。複数のmodalityを利用する場合、各視点内でareaに基づいてmaskをoverlayすることで、単一のinstance segmentation mask mi,instance を作成します。具体的には、ビュー i とカメラ姿勢 pi に対する J 個のmodality Fj について、バイナリマスク mi,binary は mi,binary = SAM(F1(M, pi)) ⊙ ... ⊙ SAM(FJ(M, pi)) のように結合されます。生成されたマスクは、Face IDのレンダリング結果を用いて背景から切り離されます。SAMのprediction IOU thresholdは0.5に設定されており、これによりノイズは含まれるものの、細部が保持されます。

続く2D-to-3D liftingフェーズでは、multiviewの2D masksと対応するFace IDを利用して、match graph G = (V, E) を構築します。このグラフのnode V は各レンダリング視点の2D region labelに対応し、edge E は同じmesh partを参照している可能性のある2つのnodeを結びます。すべての視点における2D region labelのペア (r1, r2) に対して、それらの2D maskのoverlap ratio R を計算し、edgeを追加するかを決定します。具体的には、r1 と r2 のmeshへのprojectionが共有する面の数を OF(r1, r2)、r のprojectionが占める面の数を F(r) としたとき、min(\frac{OF(r_1, r_2)}{F(r_1)}, \frac{OF(r_1, r_2)}{F(r_2)}) > \tau_R かつ OF(r_1, r_2) > \tau_C の条件を満たす場合にedgeが追加されます。ここで、τC はノイズを除去するためのoverlap threshold (実験では32) です。τR は、すべてのregionペアにわたるoverlap ratio R のhistogram H から動的に決定され、\tau_R = \min \{ b \mid \sum_{i=1}^{b} H(i) > p_{\tau_R} N_{pairs} \} と設定されます。構築されたgraphに対してLeiden community detectionを適用し、node communities（同じmesh partに対応する2D region label群）を取得します。community sizeが τCD=1 のcommunityは除外されます。最後に、これらのcommunity labelをmeshのfaceに射影することで、mesh part segmentationを得ます。各faceのcanonical part segmentation labelは、最も多く参照されたlabelに設定されます。

最終段階として、Mesh Segmentation Refinementを行います。これは、面積が A_{mesh} = p_{A_{mesh}} \cdot N_{faces} ( p_{A_{mesh}}=0.025) 未満のholesを除去し、Ismooth 回の繰り返し (実験では64) でfrontierを拡張してislandsを処理し、disconnected regionsを分割することを含みます。その後、ShapeDiamと同様にα-expansion graph cutを1回適用して洗練します。Graph cutのcost termは λ で重み付けされます。

本手法は、既存のmesh part segmentation benchmarkであるCoSeg datasetおよびPrinceton Mesh Segmentation Datasetで、強力なShapeDiamと比較評価されました。既存データセットのobject diversityの限界に対処するため、著者らはcustom 3D generative modelから多様なmeshのデータセットをキュレーションし公開しています。このデータセットを用いたhuman evaluationでは、ShapeDiamと比較して提案手法のsegmentation qualityが大幅に優れていることが示されました。また、入力modalityに関するablation studyでは、surface normal rendersとShapeDiam scalars rendersを組み合わせることで最高のsegmentation qualityが得られることがわかりました。既存ベンチマークでの定量的評価では、Cut Discrepancy、Hamming Distance、Rand Index、Local Consistency Error、Global Consistency Errorといった7つのmetricを用いてShapeDiamと同等以上の性能を達成することが示されました。

結論として、Segment Any Meshは、2D foundation modelの強力な視覚的priorをliftingすることで、限られた多様性のsegmentation dataからの学習やlocal shape descriptorに依存する手法を超え、既存ベンチマークでの性能を維持しつつ、多様な形状クラスへの高いgeneralization能力を示しました。これは、object partやaffordancesを分析する際に人間が行うように、問題を2D view perspectiveから捉えることに由来しています。今後の展望として、人間参加型の洗練interfaceの開発や、それを用いたlabeled segmentation datasetのキュレーション・distillationが挙げられています。

Q:提案手法の処理の流れを順序だてて説明してください

A:

この手法は、入力として一つのメッシュのみを必要とするゼロショットアプローチです。

処理は大きく分けて2つのフェーズから構成されます。

フェーズ1：Multimodal Rendering (マルチモーダルレンダリング)

1. マルチビューレンダリングの生成: 入力メッシュに対し、複数の視点（例えば、正二十面体配置）からレンダリングを行います。
2. 複数モダリティのレンダリング: 各視点から、以下の異なるモダリティの画像をレンダリングします。
   • 表面法線 (surface normals)
   • Shape Diameter Function (ShapeDiam) のスカラー値
   • メッシュの面のID (face IDs) - これは視点間で一貫しており、後で対応付けに使用されます。
   • （補足：非テクスチャレンダリングも検討されましたが、法線とShapeDiamの組み合わせが最良の結果を示しました。）
3. SAMによる2Dマスク生成: レンダリングされた表面法線画像とShapeDiamスカラー画像それぞれに対し、Segment Anything (SAM、論文ではSAM2を使用) を適用します。これにより、各モダリティおよび各視点について個別の2Dバイナリマスクが生成されます。
4. ビューごとのマスク融合: 各視点内で、異なるモダリティ（法線、ShapeDiam）から得られた2Dバイナリマスクを融合します。これは、マスクの面積が大きい順に重ね合わせることで行われ、単一のビューごとの2Dインスタンスセグメンテーションマスクを作成します。小さな孤立した領域（islands）や穴（holes）、背景のマスクは、face IDレンダリングを使用して除去されます。

フェーズ2：2D-to-3D Lifting (2Dから3Dへのリフティング)

1. マッチグラフの構築: 全てのビューから得られた融合済み2Dマスクの各領域ラベルをノードとする、無向マッチグラフ (match graph) を構築します。
2. ノード間のエッジ追加: 異なるビューに属する2つのノード（2D領域ラベル）について、それらのメッシュ上への投影が有意にオーバーラップしている場合、そのノード間にエッジを追加します。オーバーラップの判定には、face IDレンダリングが使用され、特定のしきい値（τR, τC）が適用されます。
3. コミュニティ検出: 構築されたマッチグラフに対し、Leidenコミュニティ検出アルゴリズムを適用します。これにより、グラフ内のノード（2D領域ラベル）がコミュニティに分割されます。同じコミュニティに属する2D領域は、3Dメッシュ上の同じパーツに対応すると見なされます。
4. コミュニティのフィルタリングと3Dラベルへの投影: サイズが小さいコミュニティをフィルタリングします。残ったコミュニティのラベル（これは3Dパーツラベルに対応します）を、メッシュの各面に投影します。各面については、それを最も多く参照している2D領域ラベルのコミュニティに属するラベルが、その面のカノニカルなパーツラベルとなります。

後処理 (Mesh Segmentation Refinement)

1. セグメンテーションの洗練: 3D面に割り当てられた初期ラベルに対し、以下の後処理を行います。
   • 小さな穴（ラベルのない領域）を除去します。
   • 孤立した小さな領域（islands）を処理します（境界拡張など）。
   • 同じラベルを持つが接続されていない領域を、別々のパーツとして分割します。
   • 境界を滑らかにするために、アルファ拡張グラフカット (alpha expansion graph cut) を適用します。

これらのステップを経て、最終的なメッシュパーツセグメンテーションが得られます。この一連のプロセスにより、学習データに依存せず、多様なメッシュに対してパーツセグメンテーションが可能となります。

Q:関連手法との比較について詳しく説明してください

A:

本論文では、SAMeshを主に以下の3種類の既存手法と比較しています。

1. 従来の形状分析に基づく手法 (Traditional Shape Analysis Methods)
2. 学習ベースの手法 (Learning-based Methods)
3. 現代の2D-to-3Dリフティング手法 (Contemporary 2D-to-3D Lifting Methods)

それぞれについて、論文の内容を基に比較点とSAMeshの立ち位置を説明します。

1. 従来の形状分析に基づく手法

• 代表例: Shape Diameter Function (ShapeDiam) [23, 24] が挙げられます。これは、メッシュ上の各面の「局所的な厚さ」を計算し、その値をクラスタリングしてパーツに分割する方法です。この手法は、既存のメッシュセグメンテーションベンチマーク（CoSeg [28], Princeton Mesh Segmentation [6]）で良好な性能を示す、ロバストな方法として知られています。
• ShapeDiamの強み (論文より): 既存のベンチマークデータセットにあるような、比較的限定されたオブジェクトクラスに対しては効果的であり、非学習アプローチにおける「上限」を示す性能を持っています。
• ShapeDiamの限界 (論文より):
  • 多様なオブジェクトクラスへの汎化性の低さ: 限られた数のメッシュクラスに対しては機能しますが [6]、より多様で複雑な形状に対しては性能が低下します。論文では、著者らがキュレーションした多様な生成メッシュデータセットを用いた人間評価により、SAMeshがShapeDiamよりも一貫して高い評価を得ていることを示しています (Table 1, Figure 4)。ShapeDiamはこれらのデータセットに「過学習 (overfitted)」していると論文は指摘しています。
  • パラメータチューニングの必要性: GMMのクラスター数 k や、アルファ拡張グラフカットの重み λ など、パラメータの慎重なチューニングが必要です [23, 24]。
  • ローカルな幾何形状への依存: ローカルな形状記述子に依存するため、人間の直感的な「パーツ」の概念やアフォーダンスを捉えきれない場合があります。
• SAMeshとの比較: SAMeshはShapeDiamと比較して、論文で導入された多様なデータセットにおける汎化能力で明確に優位性を示しています。一方、ShapeDiamが従来から得意とする既存のCoSegやPrincetonのベンチマークにおいては、SAMeshはShapeDiamと同等またはそれ以上の性能を達成しています (Table 3, Table 4, Table 5)。これは、SAMeshがShapeDiamのようなローカルな形状記述子ではなく、より高レベルな2Dの視覚的特徴とビュー間の一貫性を利用しているためと考えられます。

2. 学習ベースの手法

• 代表例: MeshCNN [9] など、メッシュ構造を直接扱えるニューラルネットワークを用いた手法が開発されています [9, 13, 14, 19, 25]。
• 学習ベース手法の限界 (論文より):
  • 多様なセグメンテーションデータの不足: 最大の障壁は、多様なオブジェクトクラスを網羅した大規模なアノテーション付きメッシュパーツセグメンテーションデータセットの入手の困難さです [2, 31]。既存のデータセット（CoSeg, Princeton）はオブジェクトクラスの多様性に乏しく、そこで学習したモデルの汎化性を制限しています [6]。
• SAMeshとの比較: SAMeshは「ゼロショット」手法であるため、このデータ不足の制限を根本的に回避します。学習済みの2D基盤モデル（SAM2）を活用し、入力メッシュのみからセグメンテーションを生成するため、事前にアノテーション付きデータでモデルを学習する必要がありません。これにより、未知の形状やオブジェクトクラスに対しても高い汎化能力を発揮します。

3. 現代の2D-to-3Dリフティング手法

• 代表例: SAMや他の2D基盤モデルの出力を3Dに持ち上げるアプローチです [1, 2, 8, 31]。これらは、従来のマルチビュー3Dセグメンテーション手法 [10, 26] よりも高性能な2Dセグメンターを利用している点で優れています。
• これらの手法の限界 (論文より):
  • 入力ボキャブラリ（テキスト記述）への依存: これらの手法は、セグメンテーションしたいパーツの「テキスト記述」を必要とします [2, 31]。これにより、彼らは主に「セマンティックセグメンテーション」を実行します。つまり、特定の意味を持つ一部（例：「ハンドル」）をテキストクエリに基づいてセグメントすることはできますが、メッシュ全体を自動的に複数のパーツに分割する「パーツセグメンテーション」はできません。
  • 繰り返しパーツの制限: テキストに依存するため、同一のパーツが複数ある場合（例：「腕」が二つ）や、適切なテキスト記述を持たないパーツ（例：CADモデルの内部コンポーネント）を効果的に分割することが難しいです。
• SAMeshとの比較: SAMeshも2D-to-3Dリフティングのアプローチですが、テキスト入力を必要とせず、メッシュ全体を自動的にパーツに分割する「ゼロショット パーツセグメンテーション」を目指しています。マルチビューの2Dマスク間の幾何学的な対応付け（マッチグラフとコミュニティ検出）を通じてパーツを識別するため、テキストに依存する手法の限界を克服し、多様な形状を構成するパーツを網羅的に検出することが可能です。

まとめ

SAMeshは、従来の形状分析手法が持つ多様な形状への汎化性の限界、学習ベース手法が直面するアノテーションデータ不足の課題、そして現代のテキスト駆動型2D-to-3Dリフティング手法が持つセマンティックセグメンテーションに留まる限界を克服しようとしています。マルチモーダルレンダリングとSAM2による強力な2Dセグメンテーション能力を基盤とし、幾何学的な対応付けによる2D-to-3Dリフティングを行うことで、入力メッシュのみから多様な形状に対してゼロショットでパーツセグメンテーションを実現する、新しいアプローチを提案しています。

Q:提案手法の限界と今後の課題はなんですか？

A:

論文から読み取れるSAMeshの限界や今後の課題は以下の通りです。

1. パラメータチューニングの必要性:

   • 論文の「Implementation」セクションや実験結果 (Table 3, 4, 5) から示唆されるように、提案手法にはいくつかのパラメータ（例えば、マッチグラフ構築におけるオーバーラップしきい値 τR、セグメンテーション洗練におけるアルファ拡張グラフカットの重み λ、GMMクラスター数 k など）が存在し、これらの最適な値はデータセットによって異なることが述べられています (例：「optimal τR for different meshes can vary」「We vary pτR in our experiments depending on the dataset」「we vary λ in our experiments depending on the dataset」)。
   • 動的な τR の設定方法も提案されていますが、その精度は「somewhat decent」と控えめに表現されています。
   • これは、新しい種類のメッシュや、特性の異なるデータセットに適用する際に、最適な結果を得るために手動でのパラメータ調整が必要になる可能性があることを示唆しています。これは完全に自動化されたゼロショット手法としては、まだ課題となり得ます。

2. メッシュパーツセグメンテーションの主観性:

   • 論文では、既存のメッシュセグメンテーション評価指標についても言及しつつ、「metrics should only be taken as an estimate of segmentation quality since mesh part segmentation can be quite subjective」と述べています。
   • これは、どんな自動手法であっても、人間の「パーツ」の捉え方には多様性や主観性があり、特定の用途や個人の意図に完全に合致するセグメンテーションを、パラメータ調整なしで自動的に生成することが難しい場合があることを示しています。

3. 基盤となる2Dセグメンター (SAM2) の限界を継承すること:

   • SAMeshは「By building our method on top of Segment Anything, we seamlessly inherit any future improvements made to 2D segmentation」と述べている一方で、これは同時に現在のSAMまたはSAM2の限界も継承することを意味します。
   • 例えば、レンダリングされた法線画像やShapeDiamスカラー画像といった非標準的な入力モダリティに対するSAM2の性能が限定的であったり、特定の幾何学的特徴が2Dレンダリングで曖昧になってしまったりする場合、その影響は最終的な3Dセグメンテーションにも及びます。論文はマルチモーダル入力が単一モダリティよりも優れていることを示していますが、完璧ではない可能性も示唆されます (Table 2)。

4. リフティングプロセスの複雑性:

   • 2Dマスク融合、マッチグラフ構築、コミュニティ検出、そして複雑な後処理を含むリフティングプロセスは多段階です。各段階でのエラーや不整合が、最終的なセグメンテーション品質に影響を与える可能性があります。例えば、プロジェクションノイズによるマッチグラフのエッジの誤りや、コミュニティ検出アルゴリズムが意図しない分割や結合をしてしまう可能性などが考えられます。

Q:本研究に関連して、読むべき重要な論文を3つ教えてください

A:

1. Segment Anything (SAM) [11]:

   • Title: Segment Anything
   • Authors: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Doll´ar, and Ross Girshick
   • Semantic Scholar ID: (Provided implicitly in the text, but explicitly finding it: 93c54c35595f1c519e7d64a408e348a7b8b136d4 from the original SAM paper)
   • なぜ重要か: SAMeshは、まさにこのSegment Anythingモデル（論文では後継のSAM2 [22] を使用）の強力な2Dセグメンテーション能力を基盤としています。SAMは、プロンプト可能な大規模な画像セグメンテーションモデルとして、ゼロショット画像セグメンテーションにおいて画期的な性能を示しました。SAMeshの「Segment Anything」を3Dメッシュに「Lift」するというアイデアは、SAMの成功に直接触発されています。SAMの能力、その入力形式（プロンプトの概念）、および出力（マスク）を理解することは、SAMeshが2D空間で何を利用しているのかを理解するために不可欠です。

2. Consistent mesh partitioning and skeletonisation using the shape diameter function [24]:

   • Title: Consistent mesh partitioning and skeletonisation using the shape diameter function
   • Authors: Lior Shapira, Ariel Shamir, and Daniel Cohen-Or
   • Semantic Scholar ID: 4337970e775aade9f7ac7d463d967cd61c02f972
   • なぜ重要か: Shape Diameter Function (ShapeDiam) は、SAMeshが性能比較の主要なベンチマークとして用いている、従来の形状分析に基づくメッシュセグメンテーション手法の代表格です。この論文は、ShapeDiamの概念と、それを用いてメッシュをパーツ分割し、スケルトン化を行う手法を提案しています。SAMeshは、多様な形状に対する汎化能力においてShapeDiamを超えることを主な貢献の一つとして挙げています。ShapeDiamがどのように機能し、どのような種類の形状分割を得意とするのかを理解することは、SAMeshの提案する新しいアプローチの利点（特に多様性への対応力）を評価するために非常に役立ちます。

3. A benchmark for 3D mesh segmentation [6]:

   • Title: A benchmark for 3D mesh segmentation
   • Authors: Xiaobai Chen, Aleksey Golovinskiy, and Thomas Funkhouser
   • Semantic Scholar ID: 0cf2fa36135344d1be1549a2e1502b005d44c920
   • なぜ重要か: この論文は、3Dメッシュセグメンテーションの評価のための標準的なベンチマークデータセット（Princeton Mesh Segmentation Dataset）と、複数の評価指標（Cut Discrepancy, Hamming Distance, Rand Index, Local/Global Consistency Errorなど）を提案しました。SAMeshは、CoSegデータセット [28] とともに、このPrincetonデータセットを用いて定量的な評価を行っています (Table 4, Table 5)。このベンチマーク論文を読むことで、SAMeshが比較対象として用いている定量指標がどのように定義され、何を測定しているのかを正確に理解することができます。また、ShapeDiamを含む多くの既存手法がこれらのベンチマークでどのように評価されてきたかの文脈を知ることができます。