Segment Anythingとは

Meta社が提供するセグメンテーションに特化したAIモデルで、クリックだけであらゆる画像内のあらゆるオブジェクトを「切り取る」ことができます。

今年の7月には「Segment Anything 2」が発表され、画像だけでなく動画データにも対応するようになりました。

https://segment-anything.com/demo

Segment Anythingに出会ったきっかけ

過去にセグメンテーション機能をアプリに埋め込む機会がありました。最初はOpenCVでセグメンテーションを試みましたが、精度の面で懸念がありました。

そのような中、AIに頼りたところだがAIの学習モデルから作るとコストが...と思っていた矢先にSegment Anythingを発見ました。
実際に試したところ、1度のクリックで非常に高精度な結果が得られ、とても良い体験を得られました。

「Segment Anything 2」が発表されたことは知っていましたが、触る機会が無かったため、アドベントカレンダーの記事を書くきっかけで調べてみたので記事にしました。

Segment Anything の特徴

画像と動画の両方でセグメンテーション
Segment Anythingは、静止画だけでなく、動画データにも対応しており、複雑なシーンでも高精度なセグメンテーションを実現します
リアルタイム性
プロンプトベースでセグメンテーションをリアルタイムで実行でき、迅速にオブジェクトを抽出することが可能です
ゼロショット汎化
従来の機械学習モデルは特定の対象を対象に学習を行うため、十分なデータが必要でしたが、Segment Anythingは事前に学習した知識をもとに、未学習のカテゴリーにも対応できる能力を持っています

[ゼロショット学習についてもう少し詳しく]
ゼロショット学習とは、AIモデルが事前に学習していない対象にも適応できる技術です。これにより、モデルは新しい環境やオブジェクトにも素早く適応でき、データセットの準備にかかる手間を大幅に削減できます。
高精度なマスク生成
Segment Anythingは、単にオブジェクトを選択するだけでなく、高精度なマスクを生成し、その後の画像処理や編集がスムーズに行えます
簡単なプロンプト
クリック一つで必要なオブジェクトを選択でき、非常に簡単な操作で複雑なセグメンテーションが可能です
オープンソースとして利用可能
Segment Anythingはオープンソースとして公開されており、誰でも自由に利用することができます

仕組み

引用：https://github.com/facebookresearch/segment-anything

Segment Anythingは、対象の画像と選択するポイントや範囲などのプロンプトからセグメンテーションを実現します。

これは1,100万枚の画像と 11 億個のマスクのデータセットのトレーニングにより、ゼロショット学習を実現しています。

動画対応

引用：https://github.com/facebookresearch/sam2

Segment Anythingは、画像を単一フレームの動画として扱い、動画におけるオブジェクトのセグメンテーションも可能にしました。

これにより、動画内の動いているオブジェクトに対しても高精度なセグメンテーションを実現しています。

Segment AnythingのDemo

Segment Anythingのデモを実際に体験することができます。以下のリンクからアクセスできます。

画像版
https://segment-anything.com/demo

動画版

デモ例

シャツ部分を「＋」で選択し、ボールやパンツなど他のオブジェクトを「-」で除外します
動画内でシャツの色を変更することができ、動きながらも正確に色が反映されます
シャツにボールが重なっていても、シャツだけを正確に抽出することができます

Segment Anything × 〇〇

Segment Anything × OpenCV

Segment Anythingを使って対象オブジェクトを分離し、その後OpenCVでエッジ検出、輪郭解析、形状認識。

使用例

Segment Anything × Stable Diffusion

SAMでオブジェクトをセグメント化し、Stable Diffusionを使って背景などを修正・置換。

使用例
- プロダクトデザインの試作案を生成
- 家具の形状をセグメント化 → 新しいデザインに変更

Segment Anything × 3D

Segment Anythingでオブジェクトをセグメント化した画像を基に、Blenderや3Dモデリングツールで点群やメッシュデータを生成。

使用例
- 写真の人物や物体を分離して3D化
- ドローン映像から建物や地形の3Dモデルを生成

Segment Anything × Annotation

SAMで生成されたマスクをベースにアノテーションデータ (画像に写る物体の検出とタグ付け) を半自動的に作成。

使用例
- 画像内の物体（人、車、動物など）を自動検出 → タグ付けして保存
- セグメントごとにラベル（例: "cat", "dog"）を簡単に付与

終わりに

Segment Anythingは、簡単な操作で高精度な画像と動画のセグメンテーションを実現する魅力的なツールです。

ゼロショット学習やリアルタイム性が高いことなど、気軽に精度の高いセグメンテーション機能が利用できるため、様々な分野で活用できる可能性を秘めていると思います。