VGGT: Visual Geometry Grounded Transformer (2025)

VGGT: Visual Geometry Grounded Transformer(University of Oxford, Meta AI, 2025)

3行要約

1. ✨ VGGTは、多数の入力画像からカメラ、深度マップ、点群、点トラッキングなど、シーンの主要な3D属性を直接推論するフィードフォワードニューラルネットワークです。
2. 🚀 このアプローチは、数秒で高速に動作し、多くの場合、追加の最適化処理なしで、従来の最適化ベースの手法よりも優れたパフォーマンスを発揮します。
3. 💡 VGGTは、様々な3Dタスクで最先端の結果を達成し、下流タスクのための強力な特徴バックボーンとしても機能します。

Q:この論文の概要を教えてください

A:

本論文は、複数枚の入力画像からシーンの主要な3D属性（カメラパラメータ、深度マップ、ポイントマップ、3Dポイントトラック）を、単一のFeed-forward neural networkであるVisual Geometry Grounded Transformer (VGGT)によって直接推定する手法を提案する。従来の3Dコンピュータビジョンタスク（SfM、MVSなど）は、Bundle Adjustment (BA)のような反復最適化手法に大きく依存しており、計算コストが高く、複雑なパイプラインを必要とした。DUSt3RやMASt3Rといった先行研究はTransformerを用いてペアwiseな3D推定を行ったが、複数画像には後処理が必要であった。VGGTは、これをさらに一歩進め、1枚から数百枚の画像を数秒以内に処理し、ジオメトリ最適化による後処理なしで既存の最適化ベース手法と同等以上の性能を発揮する。さらに、BAと組み合わせることでSOTAの精度を達成する。

VGGTは、特別な3D誘導バイアスをほとんど持たない大規模Transformerモデルとして設計されており、公開されている大規模な3Dアノテーション付きデータセットで学習される。これは、GPTやDINOのような汎用的な大規模モデルのパラダイムに従っており、学習済みのVGGTを特徴量バックボーンとして利用することで、ノンリジッドポイントトラッキングやFeed-forward Novel View Synthesisといった下流タスクの性能も大幅に向上させることが示されている。

コア手法であるVGGTのアーキテクチャは、まず入力画像$I_i \in R^{3 \times H \times W}$をDINOによってパッチ化し、トークンの集合$t_I^i \in R^{K \times C}$を生成する。全フレームの画像トークン$t_I = \cup_{i=1}^N {t_I^i}$は、Transformerの処理に先立ち、各フレームに対応する追加のカメラトークン$t_{g_i} \in R^{1 \times C'}$と4つのレジスタトークン$t_{R_i} \in R^{4 \times C'}$と結合される。最初のフレーム（参照フレーム）のカメラ/レジスタトークンは他のフレームとは異なる学習可能なトークンで初期化され、モデルが参照フレームを識別し、全ての3D予測（カメラパラメータ$g_i \in R^9$、深度マップ$D_i \in R^{H \times W}$、ポイントマップ$P_i \in R^{3 \times H \times W}）$をその座標系で行うことを可能にする。

結合されたトークン列は、Alternating-Attention (AA)と呼ばれる機構を持つTransformer層を通過する。AAは、フレーム単位のSelf-Attentionと全体的なSelf-Attentionを交互に繰り返すことで、異なる画像間の情報を統合しつつ、各画像内のトークン活性化を正規化する。これにより、Cross-Attention層を使用せずに効率的に複数画像の情報処理を行う。Transformerの出力トークン $(\hat{t}_I^i, \hat{t}_{g_i}, \hat{t}_{R_i})_{i=1}^N$ のうち、$\hat{t}_{R_i}$は破棄される。

予測ヘッドは、出力トークン$\hat{t}_I^i$と$\hat{t}_{g_i}$を利用する。カメラパラメータ$(\hat{g}_i)_{i=1}^N$は、出力カメラトークン$(\hat{t}_{g_i})_{i=1}^N$を専用のカメラヘッド（数層のSelf-Attentionと線形層）に入力して予測される。密な出力である深度マップ $D_i$、ポイントマップ$P_i$、およびトラッキング特徴量 $T_i \in R^{C \times H \times W}$ は、出力画像トークン $\hat{t}_I^i$ をDPT層[57]で密な特徴マップ $F_i \in R^{C'' \times H \times W}$ に変換し、それぞれを独立した3x3畳み込み層で予測する。学習時には、深度とポイントマップの不確実性マップ $ \Sigma_{D_i}, \Sigma_{P_i}$ も予測され、損失関数に利用される。ポイントマップ$P_i$は、最初のカメラ$g_1$の座標系における3D点であり、視点不変である。

ポイントトラッキングモジュール$T$は、CoTracker2 [39]アーキテクチャをベースに、VGGTが出力したトラッキング特徴量$T_i$を入力として使用する。クエリ点$y_j$が与えられた画像$I_q$の特徴量$T_q$をサンプリングし、他のフレームの特徴量$T_i$との相関を計算、Self-Attention層で対応する2D点列$(\hat{y}{j,i}){i=1}^N$を予測する。このトラッカーは入力画像の順序に依存しない。VGGTの学習は、これらのカメラ、深度、ポイントマップ、トラッキングといった複数のタスクに対する損失を用いてjointに行われる。驚くべきことに、深度やカメラパラメータからポイントマップを幾何学的に計算できるような冗長性があるにも関わらず、これらの量を全て明示的に予測させる学習スキームが、単一の量を予測する場合よりも性能向上に繋がることが実験的に示されている。一方で、推論時には、予測された深度マップとカメラパラメータから3D点を逆投影してポイントマップを再構成する方が、直接予測されたポイントマップよりも精度が良いことが観察されている。

実験では、VGGTの有効性が様々なタスクで示される。Camera Pose Estimationでは、RealEstate10KおよびCO3Dv2データセットにおいて、わずか0.2秒のFeed-forward処理で、数秒から数十秒かかる既存の最適化ベース手法（DUSt3R, MASt3R, VGGSfM v2）や同時期のFeed-forward手法をAUC@30スコアで大幅に上回る。特に、学習データに含まれないRealEstate10Kでの高い汎化性能が強調される。BAによる後処理を組み合わせることで、さらに精度は向上するが、それでも処理時間は約2秒と高速である。Multi-view Depth Estimationでは、DTUデータセットにおいて、GTカメラを知らない条件下でDUSt3Rを圧倒し、GTカメラを知るSOTA手法に匹敵する精度を達成する。Point Map Estimationでは、ETH3Dデータセットにおいて、DUSt3RおよびMASt3Rよりも高速かつ高精度な点群推定を実現する。深度とカメラパラメータからの再構成が直接予測より優れていることも確認される。Image Matchingでは、ScanNetデータセットにおいて、2視点マッチングに特化していないにも関わらず、SOTA手法であるRomaを凌駕する精度を示す。アブレーションスタディにより、提案するAlternating-Attentionアーキテクチャと、カメラ、深度、トラックといった複数の3D量を同時に学習するマルチタスク学習の効果が確認される。下流タスクへの応用として、Feed-forward Novel View Synthesisでは、入力カメラパラメータなしでも競争力のある結果を示し、Dynamic Point Trackingでは、VGGTの学習済み特徴量をCoTrackerのバックボーンとして利用することで、TAP-Vidベンチマークにおいて既存手法の性能を大幅に向上させ、動的なシーンへの高い汎化能力を示す。

Q:提案手法の処理の流れを順序だてて説明してください

A:

VGGT（Visual Geometry Grounded Transformer）は、入力された複数の画像からシーンの主要な3D属性（カメラパラメータ、depth map、point map、3D point track）を単一のフィードフォワード処理で直接推論するニューラルネットワークです。その処理の流れを以下に順序立てて説明します。

1. 入力: 処理の開始として、同一の3Dシーンを異なる視点から撮影した N 枚のRGB画像 I1, ..., IN のシーケンスを受け取ります。この際、最初の画像 I1 が基準フレームとして扱われます。

2. 画像トークン化: 各入力画像 Ii は、まず DINO を用いて小さなパッチに分割され、それぞれに対応する画像トークン tI_i が生成されます。これにより、画像データが Transformer が扱えるシーケンス形式に変換されます。

3. 特殊トークンの追加: 各画像の画像トークン tI_i に対して、さらにカメラパラメータ予測のためのカメラトークン tgi と、その他の学習補助や識別に使用される4つのレジスタートークン tRi が追加されます。特に、基準フレームである I1 に対応するカメラトークン tg1 とレジスタートークン tR1 は、その他のフレームとは異なる、学習可能な特別なトークンが割り当てられます。これにより、モデルは基準フレームを識別し、その座標系で3D情報を表現できるようになります。

4. Alternating-Attention Transformer処理: 前のステップで結合された全てのフレームからのトークン集合が、提案手法の主要部である Alternating-Attention (AA) Transformer に入力されます。この Transformer は、フレーム内のトークン間での Self-Attention と、全てのフレームのトークン間での Global Self-Attention を交互に適用します。この構造により、各画像の内部情報と複数画像間の関連性の両方を効率的に捉えることができます。処理後の出力として、精緻化された画像トークン ˆtI_i とカメラトークン ˆtgi が得られます（レジスタートークンは後続の処理では通常破棄されます）。

5. カメラパラメータ予測: AA Transformer から出力されたカメラトークン (ˆtgi)_i=1^N は、専用のカメラヘッドに入力されます。このヘッドは、追加の Self-Attention 層と線形層から構成されており、各画像 Ii に対応するカメラパラメータ ˆgi を予測します。予測されるパラメータは、回転 (quaternion)、並進ベクトル、視野角を含み、基準フレーム I1 の座標系で定義されます（I1 自体の extrinsics は identity に設定されます）。

6. 高密度出力（Depth, Point, Tracking Features）予測: AA Transformer からの出力画像トークン (ˆtI_i)_i=1^N は、DPT レイヤーを通して高密度な特徴マップ Fi に変換されます。この特徴マップから、3x3畳み込み層を用いて以下の高密度出力が生成されます。

   • Depth map Di: 各ピクセルの深度情報。
   • Point map Pi: 各ピクセルに対応する3D空間上の点座標（これも基準フレーム I1 の座標系）。
   • Tracking features Ti: 後続のトラッキングモジュールで使用される特徴量。
     また、これらの予測に伴う uncertainty も同時に出力されます。

7. Point Tracking: ステップ6で得られた高密度 Tracking features (Ti)_i=1^N は、独立したトラッキングモジュール（CoTracker アーキテクチャに基づく）に入力されます。このモジュールは、クエリとして与えられた画像上の点 yj から、他の全ての入力画像における対応する点 ((ˆyj,i)_i=1^N) を予測します。これにより、複数画像間での点の対応関係（3D point track）が得られます。このトラッキングは、入力画像の時系列順序に依存せずに行えます。

トレーニング時には、上記の Transformer (f) とトラッキングモジュール (T) はエンドツーエンドで jointly trained されます。推論時には、Point map は Point map head から直接出力されるものと、予測された Depth map と Camera parameters から計算されるものがあり、後者の方がしばしば高い精度を示すことが確認されています。

このように、VGGTは複雑な3D幾何処理のパイプラインを、単一の学習可能な Transformer モデルに集約し、高速かつ高精度な3D推論を実現しています。

Q:Alternating-Attention Transformer処理についてもう少し詳しく、かつ、わかりやすく説明してください

A:

Alternating-Attention (AA) Transformer 処理は、VGGT の中心となる部分で、複数の入力画像から得られた情報を効率的に処理し、3D情報を抽出するために考案された仕組みです。これを分かりやすく説明しますね。

Transformer モデルは、入力された「トークン」（ここでは画像のパッチを表す小さな情報単位）の並びに対して、それぞれのトークンが他のどのトークンに「注意（Attention）」を払うべきかを学習することで、関連性やパターンを捉えます。特に「Self-Attention」は、入力された同じ並びの中のトークン同士が互いに注意を向け合うことで、文脈や構造を理解するのに優れています。

VGGT では、複数の画像（フレーム）を扱いますが、これらの画像は同じシーンを異なる視点から捉えたものです。そのため、情報の処理には2つの重要な側面があります。

1. フレーム内の情報: 各画像自体の内容、つまりその画像内のパッチ間の関係性や局所的な構造を理解すること。
2. フレーム間の情報: 異なる画像間で対応する点や領域を見つけたり、画像間の幾何学的な関係（相対的な位置や向き）を理解すること。

もし全ての画像パッチトークンをまとめて、一度に大規模な Self-Attention を行うと、計算コストが非常に大きくなります（画像の枚数が増えるほど爆発的に）。また、フレーム内の詳細な情報よりもフレーム間の情報が優先されてしまう可能性もあります。逆に、フレーム内の Self-Attention だけでは、複数画像を使うメリットであるフレーム間の関連性を捉えることができません。

そこで VGGT が採用したのが Alternating-Attention です。これは、Transformer の層を以下の2種類用意し、それらを交互に繰り返す構造になっています。

1. フレーム内 Self-Attention (Frame-wise Self-Attention):

   • これは、それぞれの画像のパッチトークンが、同じ画像内の他のパッチトークンにのみ注意を向ける 処理です。
   • 他の画像の情報は見ません。
   • 例えるなら、「一枚の写真を手に取って、その中の細部や写っているものの形をじっくり見る」 ようなイメージです。
   • これにより、各画像単体での特徴や構造がしっかりと捉えられます。また、画像内のトークンの活性化を正規化する効果もあるとされています。

2. グローバル Self-Attention (Global Self-Attention):

   • これは、全ての画像のパッチトークンが、他の全ての画像のパッチトークンに注意を向ける 処理です。
   • 画像内の区別なく、全体のトークン集合に対して Self-Attention が行われます。
   • 例えるなら、「複数枚の写真を並べて見て、同じものが写っている場所や、それぞれの写真でどのように見え方が違うかを探す」 ようなイメージです。
   • これにより、異なる画像間で対応関係を見つけたり、シーン全体のレイアウトやカメラ間の関係性といったグローバルな情報が統合されます。

VGGT では、これらの「フレーム内 Self-Attention 層」と「グローバル Self-Attention 層」を、例えば合計L層分（論文ではL=24、つまりフレーム内24層、グローバル24層の計48層相当）交互に繰り返します。

この交互に行うことの利点は、フレーム内の詳細な情報を捉えつつ、その情報をフレーム間で統合する、という処理をバランス良く、かつ段階的に行える ことです。これにより、個別の画像の特徴と複数画像からの3D的な関連性の両方を効果的に学習することができます。

標準的な Transformer にわずかな工夫を加えるだけで、マルチビューの3Dタスクに非常に適した特徴抽出ができるようになった、というのがこの Alternating-Attention の核となるアイデアです。この処理を経て出力されたトークンが、最終的にカメラパラメータや深度、点群などの3D属性の予測に使われます。

Q:関連手法との比較について詳しく説明してください

A:

VGGTは、様々な3Dコンピュータビジョンタスクに関連する既存の手法と比較されています。その比較対象は多岐にわたり、それぞれのタスクに特化した手法や、VGGTと同様に学習ベースで3D情報を扱う手法などがあります。主な比較点を、論文の実験結果（Section 4）に基づき、以下に詳しく説明します。

1. 従来の Structure-from-Motion (SfM) 手法との比較

   • 従来のSfM (例: COLMAP [62]): これらの手法は、特徴点検出、マッチング、三角測量、そしてBundle Adjustment (BA) のような反復的な最適化プロセスを経て、カメラパラメータと疎な点群を推定します。精度は高いですが、特に大規模なシーンでは計算コストが高く、処理に時間がかかります。
   • 学習ベースのSfM (例: VGGSfM [83]): 従来のパイプラインの一部（特にマッチングやバンドル調整）を学習で置き換える、あるいは学習と最適化を組み合わせる手法です。従来のSfMより高速化や精度向上を実現しています。
   • VGGTとの違い: VGGTは、これらの手法と根本的に異なり、単一のフィードフォワード処理 でカメラパラメータ、深度マップ、点群マップ、点トラックといった複数の3D情報を同時に出力します。BAのような計算コストの高い後処理最適化なしでも、表1に示すように、多くの既存手法（VGGSfMを含む）を速度・精度両面で上回る結果を出しています。特に、推論速度は0.2秒程度と、数秒から数十秒かかる他の手法に比べて非常に高速です。さらに、VGGTの予測を良い初期値としてBAを適用することで、さらに精度を向上させることも可能であり、その場合でも従来のBAよりも高速に収束します（Table 1の "Ours (with BA)"）。これは、VGGTが既に高品質な3D情報を予測しているため、BAが必要とする反復回数が減るためです。

2. 学習ベースのMulti-view Stereo (MVS) および DUSt3R/MASt3R との比較

   • MVS手法 (例: MVSNet [98], PatchmatchNet [80], GeoMVSNet [106]): これらの手法は、多くの場合、カメラパラメータが既知であること を前提に、複数画像から高密度な3Dジオメトリ（深度マップや点群）を再構築します。
   • DUSt3R [87], MASt3R [43]: これらの手法は、カメラパラメータが未知の状態 で、ペアの画像から高密度な点群を直接推定する点でVGGTに近いです。しかし、複数の画像を扱う場合は、ペアワイズの結果を後処理でアラインメント・統合する必要があります。
   • VGGTとの違い:
     • VGGTはMVS手法と異なり、カメラパラメータも同時に推定します。未知のカメラパラメータから高密度な3D情報を得る という点で、DUSt3R/MASt3Rと同じ課題に取り組みます。
     • しかし、VGGTはDUSt3R/MASt3Rと異なり、最初から1枚から数百枚の画像をまとめて入力として処理 できます。DUSt3R/MASt3Rが必要とするペアワイズ処理とその後のアラインメント・統合といった後処理が不要です。
     • 表2（DTUデータセットでのMVS評価）や表3（ETH3Dデータセットでの点群評価）に示すように、VGGTはDUSt3R/MASt3Rを大幅に上回る精度を達成しています。DUSt3R/MASt3Rが数秒かかる後処理最適化（Global Alignment）を行っても、VGGTの単なるフィードフォワード処理（0.2秒）に及びません。
     • 定性的な比較（Fig. 3）でも、DUSt3Rが平面を歪めて予測したり、画像間のオーバーラップがない場合に失敗したりするのに対し、VGGTはより正確でロバストな3D構造を捉えています。
     • MV-DUSt3R [73], CUT3R [85], FLARE [105], Fast3R [96] のような、DUSt3Rのフィードフォワード化などを試みるConcurrent workと比較しても、VGGTは優れた性能を示しています（表1）。

1. 単一タスクに特化した学習ベース3D手法との比較

   • 例: DepthAnything [97] (単眼深度推定), LRM [34] (単画像からの3D再構築), MoGe [86] (単眼幾何推定) など、特定の3Dタスクのみに焦点を当てた学習モデルも存在します。
   • VGGTとの違い: VGGTは、カメラパラメータ、深度マップ、点群マップ、トラッキング特徴量といった複数の3D属性を単一の共有バックボーンで同時に予測 するマルチタスク学習を行います。これは、これらの属性が相互に関連しているため、同時に学習することで互いの精度を高め合えるという考えに基づいています。論文のTable 6でのアブレーションスタディが示すように、カメラ、深度、トラックの推定タスクを同時に学習することが、点群推定精度を向上させています。

2. Image Matching / Point Tracking 手法との比較

   • Image Matching (例: SuperGlue [60], LoFTR [69], Roma [21]): 2枚の画像間の対応点を見つけるタスクに特化した手法です。
   • Point Tracking (例: TAPIR [15], CoTracker [38], LocoTrack [8]): 動画など複数フレーム間で特定の点の軌跡を追跡する手法です。多くは時系列的な処理や、フレーム間の相関計算を行います。
   • VGGTとの違い: VGGTのトラッキングモジュールは、元々静的なシーンの複数画像（順序は任意）における点の対応（3D点トラック）を推定するように設計されています。しかし、その基盤となる特徴抽出能力は、Image Matchingタスク（2枚画像間の rigid tracking と見なせる）においても非常に高い性能を発揮します。表4に示すように、ScanNetデータセットでの2枚画像マッチングにおいて、VGGTは最先端手法であるRoma [21] を含め、他の手法を上回る精度を示しています。さらに、VGGTの学習済み特徴量を、動的なシーンに対応した最先端の点追跡手法であるCoTracker [38] のバックボーンとして利用しファインチューニングすると、TAP-Vidベンチマークで大幅な性能向上を達成できることが示されています（表8）。これは、VGGTが学習した特徴量が、 rigid かつ static なシーンだけでなく、dynamic なシーンにおける point tracking という異なるタスクにも効果的に汎化することを示しています。

3. Novel View Synthesis (NVS) 手法との比較

   • NVS手法 (例: LVSM [36]): 入力画像（多くの場合、カメラパラメータは既知）から、新しい視点からの画像を生成するタスクです。
   • VGGTとの違い: VGGTは、LVSMなどの既存手法が入力画像のカメラパラメータを必要とするのに対し、入力画像のカメラパラメータが未知の状態 でNVSを行うことが可能であることを示しました。VGGTのバックボーンを入力画像とターゲット視点（Pl¨ucker rayで表現）のトークンを処理するように修正し、ターゲット視点のRGB色を回帰するように学習させました。訓練データ量が既存手法より少ないにも関わらず、GSOデータセットで競合する結果を達成しています（表7）。これは、VGGTが入力画像のカメラパラメータを推定し、3D情報を理解する能力が、そのまま新しい視点の画像を生成するNVSタスクにも応用できることを示唆しています。

総括すると、VGGTは既存の多くの3D関連手法と比較して、以下の点で優位性を示しています。

• 高速性: 後処理最適化なしのフィードフォワード処理で、既存手法よりも圧倒的に高速。
• 高精度: Feed-Forwardでも既存の最先端手法に匹敵またはそれ以上の精度を達成し、BAと組み合わせることでさらに向上。
• 汎化性: 未学習のデータセットや、設計時想定していなかったタスク（動的シーントラッキング、入力カメラ未知NVSなど）に対しても高い性能を示す。
• 統合能力: 単一モデルで複数の3D属性を同時に推論する能力を持ち、これが個々のタスク精度向上にも寄与。
• シンプルさ: 特殊な3Dバイアスをほとんど持たない標準的なTransformerベースのアーキテクチャを採用。

これらの比較から、VGGTが3Dコンピュータビジョンの分野における重要な進歩であり、特にリアルタイム応用や、複数の3D情報を統合的に必要とするタスクにおいて、大きな可能性を秘めていることがわかります。

Q:提案手法の限界と今後の課題はなんですか？

A:

VGGTは非常に革新的なアプローチであり、多くの点で既存手法を凌駕していますが、どのような技術にも限界と今後の課題は存在します。論文の内容や、関連分野の動向を踏まえて、VGGTの限界と今後の課題について考えてみましょう。

VGGTの限界

1. トレーニングデータへの依存度:

   • VGGTは「大きな学習済みモデル」のパラダイムを踏襲しており、3Dアノテーション付きの大量のデータセットで学習されています（論文の補足資料に詳細があるとのこと）。最小限の3D誘導バイアスしか持たない代わりに、大量のデータから3D幾何学を学習するというアプローチです。これは、GPTやDINOv2などが大規模データで言語や画像の特徴を学習するのに似ています。
   • このデータ駆動型のアプローチは強力ですが、学習データセットの種類や範囲に性能が制約される可能性があります。学習データに含まれないような非常に特殊なシーン、形状、材質、照明条件などに対して、どの程度性能を維持できるかは未知数です。
   • 「in-the-wild」なシーンでの定性評価（Fig. 3）は良好な結果を示していますが、定量的な評価は限定的です。

2. 推論性能のスケール（非常に多数の画像の場合）:

   • 論文では最大数百枚の画像を処理できると謳っており、DUSt3Rなどペアワイズ手法よりはるかに多くの画像を一度に扱えます。しかし、Transformerの Self-Attention は入力トークン数の2乗の計算量を持つため、入力画像の枚数（および各画像のトークン数）が増えると、計算コストが急増します。
   • 論文中の速度比較（Table 1, 3）では、入力フレーム数は10枚または32枚での評価が中心です。数百枚、あるいはそれ以上の規模の画像を処理する場合、現在のアーキテクチャでも数秒以下で処理できるのか、あるいはメモリや計算時間のボトルネックになるのかは、詳細な検証が必要です。特に高解像度画像を使う場合、トークン数は増大します。

3. 静的なシーンへのフォーカス:

   • VGGTは基本的に静的なシーンの3D再構築を目的としています。Point Trackingの実験（Table 8）は動的なシーンへの応用可能性を示唆していますが、これはVGGTの特徴抽出能力をCoTrackerという動的トラッカーに組み込んだ結果です。VGGT自体が、大きく変化する動的なシーンにおける3D構造（各時点でのジオメトリや、物体の動き）を直接的に高精度で予測できるかは明確ではありません。動画全体を通した一貫した動的な3D再構築は、さらなる課題です。

4. 特定の難しさへの対応:

   • SfMやMVSが苦手とするシーン（例: テクスチャレスな領域、繰り返しパターン、鏡面反射、半透明物体、非常に広いベースラインの画像ペア）に対して、学習ベースのモデルがどこまでロバストに対応できるかは、データセットの偏りや学習の限界に依存します。論文では繰り返しパターンなどの難しい例でも良い結果を示していますが、これらの困難さを本質的に克服しているかは、より広範な評価が必要です。

5. 物理的な制約や整合性の保証:

   • 学習ベースの手法は、物理的な法則や幾何学的な制約（例えば、推定されたカメラと深度マップから計算される3D点が、異なる視点から見た同じ3D点と一致するかなど）を常に厳密に満たすわけではありません。論文では、深度とカメラから計算した点群の方が、直接Point map headから出力される点群よりも精度が良い場合がある（Table 3）ことを示しており、これはモデルが予測する異なる物理量間にまだ不整合が存在する可能性を示唆しています。Bundle Adjustmentのような最適化は、これらの整合性を強制する役割がありますが、VGGTのフィードフォワードモードでは、ある程度の不整合は避けられないかもしれません。

今後の課題と研究方向

1. さらなるスケーラビリティの追求:

   • 数千、数万といったより多数の画像を効率的に処理するためのアーキテクチャの改良が必要です。線形計算量を持つ Attention 機構の採用や、より洗練されたトークンのサンプリング・プルーニング戦略などが考えられます。
   • 大規模データセットでの学習をさらに効率化するための分散学習技術や、メモリ使用量を削減する技術も重要になります。

2. 動的なシーンへの拡張:

   • 静的なシーンだけでなく、人や物体が動く動的なシーン全体の3D構造や動きを、フィードフォワードで高精度に推定するモデルの開発。これは、自動運転やロボティクスなど、現実世界の多くの応用にとって非常に重要です。時間方向のAttentionや、動的な要素をモデル化する専用のヘッドの導入などが考えられます。

3. 物理的な整合性の強化:

   • 学習段階で、より厳密な幾何学的・物理的制約を組み込むための損失関数や学習手法の開発。例えば、微分可能なレンダリングを用いて、予測された3D構造から画像を再構築し、入力画像と比較するような end-to-end な学習を強化することなどが考えられます。
   • 予測される複数の3D属性間の整合性を高めるためのモデル設計。

4. 多様な入力への対応:

   • RGB画像だけでなく、深度センサーやLiDAR、イベントカメラなど、他のセンサーからの情報を統合する能力。
   • 不完全なデータ（欠損した画像、大きくブレた画像など）に対するロバスト性の向上。

5. 学習効率とデータ効率の向上:

   • 大量の3Dアノテーションデータは収集が困難でコストがかかります。より少ないアノテーションデータ、あるいは自己教師あり学習や半教師あり学習の手法を用いて、効率的に学習する技術の開発。
   • 異なるデータセット間で学習した知識を効果的に転移させる方法。

6. 解釈可能性と信頼性の向上:

   • モデルがどのように3D情報を推論しているのか、その内部動作の解釈可能性を高めること。
   • 予測されたuncertaintyマップ（ΣD, ΣP）を、実際の予測精度や信頼性とより密接に連動させるための研究。予測が不確実な場合に、それを適切にユーザーや後続システムに伝える能力は、実応用上重要です。

7. 応用タスクとの連携強化:

   • NVSや動的点追跡などの下流タスクでVGGTの特徴量が有用であることを示しましたが、これらのタスクにVGGTをよりシームレスに統合し、性能を最大限に引き出すための研究。例えば、特定の応用タスクに特化したファインチューニング戦略や、タスク固有のヘッドの設計などが考えられます。

VGGTは、3D再構築における「フィードフォワード革命」を加速させる強力な基盤となるモデルです。上記の限界を克服し、課題に取り組むことで、その応用範囲と社会への影響はさらに広がっていくと考えられます。特に、リアルタイム3D理解が求められる自律システムやAR/VR分野での活用に期待が高まります。

Q:関連研究の中から、次に読むべき特に重要な論文を3つ挙げてください

A:

VGGTの論文を読む中で、次にどの関連研究論文を読むべきか、ですね。VGGTはいくつかの重要な研究の流れの上に成り立っており、また新たな方向性を示しています。論文で特に比較対象とされていたり、VGGTのアイデアの直接的な基盤となっている研究の中から、理解を深める上で特に重要と思われる3つの論文を提案します。

ユーザーの関心や背景知識にもよりますが、VGGTの貢献を明確に理解するためには、以下の3つが特に有益だと考えられます。

1. DUSt3R: Geometric 3D vision made easy. [87]

   • 重要性: VGGTの論文で最も頻繁に言及され、その直接的な先行研究として位置づけられているのがDUSt3Rです。DUSt3Rは、既知のカメラパラメータなしに、ペアの画像から高密度にアラインされた点群を直接推定するという画期的なアイデアを導入しました。これは従来のSfMやMVSとは異なるアプローチでした。
   • VGGTとの関係: VGGTは、このDUSt3Rのアプローチを「ペアワイズ限定」「後処理の最適化が必要」という制約から解放し、「マルチビュー（複数枚）対応」「単一のフィードフォワード処理」へと発展させたものと言えます。DUSt3Rを読むことで、VGGTが解決しようとした課題と、その出発点となった技術を深く理解できます。

2. MASt3R: Grounding image matching in 3d with mast3r. [43]

   • 重要性: MASt3Rは、DUSt3Rの発展形であり、同様にペアワイズの画像から高密度な3D情報を推定します。DUSt3R/MASt3Rのラインは、VGGTが登場する直前の学習ベース3D推定の最先端の一つでした。
   • VGGTとの関係: VGGTは、Table 1, 2, 3でDUSt3RおよびMASt3Rと直接性能比較を行っており、後処理なしのフィードフォワードでこれらの手法を上回ることを示しています。MASt3Rを読むことで、VGGTが乗り越えた「ペアワイズ＋後処理」手法の最新の性能水準とアプローチを知ることができます。

3. VGGSfM: Visual geometry grounded deep structure from motion. [83]

   • 重要性: VGGSfMは、学習と微分可能なバンドルアジャストメント（BA）を組み合わせることで、従来のSfMの精度と学習の柔軟性を両立させた手法です。VGGTは、Table 1でVGGSfMとも比較されており、「学習＋最適化」のハイブリッド手法に対する「単なるフィードフォワード」の優位性を示す上で重要な比較対象です。
   • VGGTとの関係: VGGSfMは、学習ベースでSfMの課題に取り組む別のアプローチ（最適化を残す）を示しています。VGGTが後処理最適化をほぼ排除したのに対し、VGGSfMは学習を最適化プロセスに組み込みました。この二つの論文を読むことで、3Dコンピュータビジョンにおける「学習 vs 最適化」あるいは「学習＋最適化 vs 純粋な学習（フィードフォワード）」という研究の潮流と、VGGTがその中でどのような立ち位置にいるのかがより明確になります。

これらの3つの論文を読むことで、VGGTがどのような研究背景から生まれ、既存の主要なアプローチ（学習ベースのペアワイズ高密度推定、学習ベースの最適化統合SfM）と比較してどのような位置づけにあるのか、そしてなぜその貢献が重要なのかを深く理解できるはずです。

もちろん、Transformerの原論文 [79] や、DINOv2 [53]、DPT [57] といったVGGTが使用している基盤モデルの論文も、アーキテクチャの詳細を理解する上では重要ですが、まずは上記3つの「3Dタスクに対する学習アプローチ」に関する論文から入るのが、VGGTの全体像を掴む上で効率的かと考えられます。