"SAM 3: Segment Anything with Concepts"(概念でセグメントする)の紹介です。
SAM 3 は、画像・動画の中から「特定の概念」に合う対象を 検出・領域分割・追跡まで一括で行うモデルです。
なかなか面白いアイデアですね。
何がしたい論文なのか
従来の SAM 系（SAM / SAM 2）は、点・ボックス・マスクなどの 空間プロンプトを与えて「1つの対象」を切り抜く Promptable Visual Segmentation（PVS） が中心でした。
一方で、たとえば「動画に出てくる すべての猫」のように、概念として登場する対象を全部見つけて切り抜くことは、これまでの枠組みでは十分に扱えていませんでした。
「この1匹」ではなく「この概念に当てはまるもの全部」を、画像・動画から取り出したい、という方向に舵を切った研究です。
SAM 3 が定義する新タスク：PCS（Promptable Concept Segmentation）
論文は新しく Promptable Concept Segmentation（PCS） を定義します。
PCS は、画像または短い動画（30秒）を入力として、
- 短い名詞句（noun phrase）（例："yellow school bus"）
- 画像の例示（exemplars）（正例/負例のボックス）
- あるいはその組み合わせ
で指定した「概念」に合致する すべてのインスタンスを検出し、マスクを出し、動画では IDを保ったまま追跡するタスクです。
ここでテキストは「長い指示文」ではなく、単純な名詞句に制限されています（例： "red apple" や "striped cat"）。
一方で、SAM 3 自体は長文推論のためのモデルではないが、必要なら MLLM と組み合わせて複雑な言語プロンプトにも対応できる、と述べています。
どうやって実現しているか（モデル構成の要点）
SAM 3 は大きく Detector（画像） と Tracker（動画） の2つで構成され、両者は同じバックボーン（Perception Encoder）を共有します。
Detector は DETR 系の設計で、テキスト・幾何情報・画像例示（exemplar）で条件付けされます。
Presence head（Presence token）で「認識」と「位置」を分離する
論文の重要点の1つが Presence token です。
「何があるか（認識）」と「どこにあるか（ローカライズ）」を同じクエリで同時にやらせると衝突しやすいので、概念が画像に存在するかを判定する専用のグローバルトークン（presence）を導入して分離します。
各 proposal query はローカライズに集中し、最終スコアは proposal 側のスコアと presence スコアの積として扱います。
つまり、
「この概念がそもそも画像に存在するのか」を別担当にして、検出の誤爆を減らす設計です。
画像例示（exemplars）で「概念の補足」や「対話的な修正」
SAM 3 は、画像内のボックスを正例/負例として与える image exemplars を扱えます。
例えば「犬の正例ボックス」を1つ与えると、画像内の犬をすべて検出する、と説明されています（PVSの「1インスタンス切り抜き」と異なる）。
また、初回の結果で取りこぼしや誤検出があれば、追加の exemplar を入れて 対話的に改善できます。
データが本気：学習用データエンジンと SA-Co ベンチマーク
PCS を成立させるために、論文は スケーラブルなデータエンジンを構築しています。
特徴として、
- より多様なメディア領域のキュレーション
- オントロジーや MLLM を使った名詞句・hard negatives の生成
- MLLM を「検証者（AI verifiers）」として活用してアノテーションのスループットを上げる
といった工夫が挙げられています。
規模感として、高品質データは 4M ユニークなフレーズ（概念ラベル）と 52M マスク、さらに 合成データは 38M フレーズと 1.4B マスクと記述されています。
また評価用に SA-Co（Segment Anything with Concepts）ベンチマークを新規作成し、207K ユニーク概念、120K 画像、1.7K 動画で「網羅的マスク」を提供するとしています。
結果：PCSでの大幅改善＋従来SAM能力も改善
論文は、SAM 3 が 画像・動画の PCS で既存システムの精度を倍にすると述べています。
また、例として LVIS の zero-shot mask AP が 48.8で、従来ベスト 38.5を上回ると記載されています。:contentReference[oaicite:20]{index=20}
推論速度についても、H200 GPU で 100+ objects の単一画像に対して 30msと書かれています。
コード／ベンチマーク／デモ
論文ページには、デモ・コード・公式サイトへの導線が記載されています。
- Demo:
- GitHub:
- Website:
まとめ
SAM 3 は、従来の「点や枠で1つを切り抜く」PVSに加えて、
名詞句や例示で“概念”を与え、画像・動画中の該当インスタンスを全部セグメントして追跡するPCSを前面に押し出した研究です。
データエンジン（4M概念ラベル規模）と新ベンチマーク（SA-Co）まで含めて設計されている点からも、「概念セグメンテーションを研究テーマではなくインフラとして成立させる」意図が読み取れます。