はじめに
こんにちは、この記事は Link-U Technologies Advent Calendar 2025 の3日目の記事です！
Meta AIが開発したセグメンテーションモデル「Segment Anything Model (SAM)」の最新版である SAM 3 が公開されました。
今回は、このSAM 3を使って動画内のオブジェクト（バスケットボール）を自動で追跡し、その軌道を分析する方法を紹介します。
SAM 3とは
SAM 3 (Segment Anything Model 3) は、画像や動画内のあらゆる物体をセグメンテーション（領域分割）できるAIモデルです。
前バージョンのSAM 2と同様に動画にも対応しており、さらにSAM 3ではテキストプロンプトによる指示の精度や、複雑なシーンでの追跡能力が向上しています。
SAM 3の特徴
- 高精度な動画トラッキング: 最初のフレームで対象を指定するだけで、動画全体を通して物体を追跡できます。
- 多様なプロンプト: クリック（点）やボックスだけでなく、自然言語（テキスト）での指示が可能です（例: "basketball", "person", "a brown golden retriever"）
- オープンソース: コードとモデルが公開されており、誰でも試すことができます。
自分の環境
- OS: Windows 11
- GPU: NVIDIA GeForce RTX 4070
- Python: 3.13
- CUDA: 12.4
※ Windows環境では一部のライブラリ（tritonなど）が非対応のため、いくつかの修正が必要でした。
※ 試すときはLinuxが推奨です
環境構築
1. リポジトリのクローン
まず、SAM 3の公式リポジトリをクローンします。
git clone https://github.com/facebookresearch/sam3.git
cd sam3
2. ライブラリのインストール
必要なライブラリをインストールします。Windows環境の場合、triton がインストールできないため、依存関係の修正やCPUフォールバックの実装が必要になる場合があります。
pip install -e .
pip install opencv-python matplotlib pandas scikit-image scikit-learn omegaconf hydra-core
また、GPUを使用するためにPyTorchをCUDA対応版に入れ替えます。
pip uninstall torch torchvision torchaudio
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
3. モデルのダウンロード認証
SAM 3のモデルを利用するには、Hugging Faceでの認証が必要です。
- Hugging Faceで facebook/sam3 の利用規約に同意、承認(すぐに承認されました)が必要
- アクセストークンを取得し、以下のコマンドでログインする。
huggingface-cli login
動作確認
「Person」で指定して確認したところ、しっかりトラッキングされている
※トラッキングのみなら公式サイトで試すことができます。かなりの精度で面白かったです
バスケットボールの動画をトラッキングして軌跡を描画する
今回は、下記のバスケットボールのシュートシーンの動画 (basket.mp4) を用意し、ボールをトラッキングさせてみます。
※ そういえば、動画載せれなかったのでGifになります
追跡用スクリプトの作成
SAM 3のAPIを使用して、以下の処理を行うPythonスクリプトを作成しました。
- 動画を読み込む
- 最初のフレームで "basketball" というテキストプロンプトを与えてボールを検出
- 全フレームにわたって追跡 (Propagate)
- トラッキングしているオブジェクトデータから軌跡を描画する
- 結果を動画とCSVファイルに出力
実行コマンド
python track_basketball.py sam3/assets/videos/basket.mp4 --output basket_result.mp4 --csv basket_center.csv --prompt "basketball"
実行結果
生成された動画では、ボールが正確にマスクされ、その軌跡が線で描画されました。
トラッキングしたオブジェクトデータの活用方法
追跡結果として出力したCSVファイル (basket_center.csv) には、各フレームにおけるボールの中心座標 $(x, y)$ が記録されています。
frame_index,object_id,center_x,center_y
0,1,540,300
1,1,542,298
...
このデータを使えば、以下のような分析が可能です。
- 軌道の可視化: シュートの放物線をグラフ化
- 速度・加速度の算出: フレーム間の移動距離とフレームレートから算出
- シュート成功率の判定: ゴールの座標と照らし合わせて判定
まとめ
SAM 3を使うことで、動画内の特定のオブジェクトを非常に簡単に、かつ高精度に追跡できることが分かりました。
特に、テキストで「何を追跡したいか」を指示できる点は非常に便利です。
スポーツのフォーム分析や、競技の戦術分析など、様々な分野への応用が期待できそうです