はじめに

CVPR2019 main conference から以下の論文
[1] P. Voigtlaender, et. al."MOTS: Multi-Object Tracking and Segmentation", CVPR2019
のまとめ

論文へのリンク:
https://www.vision.rwth-aachen.de/media/papers/mots-multi-object-tracking-and-segmentation/MOTS.pdf

projectのサイト:
https://www.vision.rwth-aachen.de/page/mots

Githubの公式コード:
https://github.com/VisualComputingInstitute/TrackR-CNN
MIT license。Tensorflow1系。

デモ動画:
https://www.vision.rwth-aachen.de/media/papers/178/MOTS_video.mp4

概要

multi-object trackingと同時にsegmenatationも行う新たなタスク multi-object tracking and segmentation（MOTS）を定義した
そのタスクのため、KITTI dataset や MOTCallenge dataset に segmentation のアノテーションを加えることで、新たな datasetを生み出した
これの評価のため、新たなメトリクス（sMOTSA）を提案した
multi-object tracking and segmentation のベースラインとなるモデルを提案した

MOTS用のdataset を作成

これまでMOTS用のdatasetがほとんどないため、bounding box に対してsegmentを加える形で新たに作成した。

具体的には、bounding boxで切り取った画像を事前学習したDeepLab等に入れ、segmentを予測させる。これを人出でrefineするような手順。

MOTS用の評価手法を作成

略

提案モデル TrackR-CNN

以下が提案モデル TrackR-CNN 概要

TrackR-CNNという名前からも想像つくように、Mask R-CNNをベースとしている。

それとの違いで見ると、

左側入力が複数フレームに渡るsequentialな画像である。それをCNNで特徴量化する。
これにより出力される各frameの特徴量に対し、3D Convで畳み込む。
これにより出力される時空間な特徴量に対し、Region Proposal Networkで物体候補領域を推定する。
各物体候補領域に対し、Mask R-CNNと同様にbounding box回帰、クラス分類、セグメントを行うが、これに加えてAssociation embeddingも出力する

Association Head

各物体候補領域に対しAssociation embeddingを出力する部分。

同一物体の判定

ここでは候補領域の物体 $d \in \mathcal{D}$ ごとにベクトル $a_d$ を出力する。

異なるframeにおける任意の物体 $v$、$w$ における距離はユークリッド距離とする。

d ( v, w) := \| v-w \|

この距離の近さで同一物体か否かを判定する。

id 一致に関するloss

物体 d の ground truthの id を $id_e$ とし、以下のtriplet losssを用いる。

Loss_{id} = \frac{1}{| D |} \sum_{d \in \mathcal{D}} \max \left( \max_{e \in \mathcal{D}:id_e = id_d} \| a_e - e_d \| - \min_{e \in \mathcal{D}:id_e \neq id_d} \| a_e - e_d \| + \alpha , 0 \right)

まず、括弧内の１項目は同じidの場合であり、フレーム間に渡って距離が最大となるものとしている。よってこの項が最小化することを期待する。

括弧内の２項目は異なるidの場合であり、フレーム間に渡って距離が最小となるものとしている。これにマイナスをかけるので、この項が最大化することを期待する。

この両者にマージン $\alpha$ を加え、それと０との最大値を採用する。

それを全ての物体に渡って平均化する。

これにより、同じ物体間ではベクトルが近くなり、異なる物体間ではベクトルが遠くなることを期待する。

mask propagation

評価対象としてのMask R-CNNをMOTSタスクに応用するとき、トラッキングのアルゴリズムが必要である。本論文ではマスク・ベースでの類似性を利用している。

t-1時の物体 d におけるマスクとt時の物体 e におけるマスクとの類似度（maskprop）は

{\rm{maskprop}} (mask_d, mask_e) = {\rm IoU}(\mathcal{W} (mask_d), mask_e)

とする。ここで$\mathcal{W}$ はoptical flowによるwarping。

実験と結果

定量的評価

KITTI dataset を使った他のモデルとの MOTS値の比較は以下。

+MGはTrack R-CNN自体はmaskのheadなしヴァージョンであり、後処理でmaskを推定する。

定性的評価

以下がKITTI datasetのvalidation dataにおける推論例。

+MGに比べてmask headがある(a), (c)はidswが減っている。