はじめに

今月 arXiv に上がった以下の論文
[1] X. Zhou, et. al."Tracking Objects as Points"
の logic 部分だけざっくりまとめ

arXiv:
https://arxiv.org/abs/2004.01177

github:
https://github.com/xingyizhou/CenterTrack

提出先の journal や conference 等は不明。

概要

multi-object tracking 系の論文
１つのモデルで物体を detect して tracking まで行う 1-shot 系
CenterNet から出力される変位情報を元にマッチングさせる

手法

1. 各フレームでbounding box等の検出

CenterNet（[2]）そのものなので略。

参考：私のQiita記事
https://qiita.com/masataka46/items/cb5b05090746c7f3b826

ざっくり言うと、画像（$I^{(t)} \in \mathcal{R}^{W \times H \times 3}$）を入れて物体の heat-map と off-set 、矩形の縦横を出力する。これらから物体の位置 ${\bf p}$ 、サイズ ${\bf s}$ 、信頼度 $w$ 等を計算する。

2. 変位チャンネルの出力

このモデルの核心部分。

中身はSTAFモデル等のsequentialな骨格系で使われる Temporal Affinity Fields 的なもの。

つまり、$t-1$ 時の物体位置

\left\{ {\bf p}_0^{(t-1)}, {\bf p}_1^{(t-1)}, \cdots \right\}

から $t$ 時物体位置

\left\{ {\bf p}_0^{(t)}, {\bf p}_1^{(t)}, \cdots \right\}

への変位を表すベクトル

{\bf d}^{(t)}_i = {\bf p}_i^{(t-1)} - {\bf p}_i^{(t)} \ (i=0,1,\cdots)

を同じチャンネルにマッピングしたベクトル場。

3. 変位チャンネルの loss

ターゲットとで L1 をとる。

L_{off} = \frac{1}{N} \sum^N_{i=1} | \hat{D}_{{\bf p}_i^{(t)}} - ({\bf p}_i^{(t-1)} - {\bf p}_i^{(t)}) |

reference

[2] X. Zhou, et. al."Objects as Points"
arXiv:
https://arxiv.org/abs/1904.07850
私のQiitaまとめ：
https://qiita.com/masataka46/items/cb5b05090746c7f3b826