Peeking into the Future: Predicting Future Person Activities and Locations in Videos

サーベイ3本目
論文リンクは以下.
https://arxiv.org/pdf/1902.03748v3.pdf
authorがCMU/Stanford/Google AI強そう

key

joint modeling of paths and activities benefits future path prediction

study the future path prediction jointly with the intention

our techniques focus on predicting a few seconds into the future,and should not be useful non-routine activities

概要

従来の動作認識(行動予測)では，人の意思を反映したものではない．
画像から特徴を抽出して推定するものが主．しかし，人の行動は，意思によって決まるものである．
本論文では，人の動きを動画内から観察される意図をmodelingする．

本論文では，future path/future activities を同時に推測する，multi-task learning modelとして，Nextを提案する．

従来手法との違い
・人に関する特徴をpointではなく，周りの物体/人とのinteractionや，body movementなどから得る．
・学習を促進するため，auxiliary task(activity location prediction etc)を導入

ネットワーク(called Next)

使用するネットワークは，上記．
従来手法では，人の特徴を空間上に点として簡略化して，抽出していたが，本手法では，それぞれの人の豊富な情報を抽出するために，人の情報をencodeするmoduleとして，
Person Behavior ModuleとPerson Interaction Moduleを使用．
これらによって，人の行動の習慣や，人と人/物の相互作用などの情報を抽出する．

また，抽出された情報から．LSTMを用いて，人の軌跡を推定するTrajectory Generatorと，行動ラベルを予測するActivity predictionを実装する．
Activity Predictionでは，画像を様々なgridに分割(Manhattan Grid)し，行動の起こる場所を推定するLocation predictionも行う．

Person Behavior Module

このモジュールでは，画像内にある全ての人の特徴を抽出する．

このModuleでは，

・Person Appearance Encoder

画像に写っている人/物体のBBoxをRoIAlignを用いて抽出する．

・Person Keypoint Encoder

MSCOCOdatasetを用いて，人の keypoint informationを抽出する．
1は，人のappearanceの抽出，2は，人のbody movementの抽出が目的．
どちらもLSTMでencodingを行う．

Person Interaction Module

このModuleでは，人と人やsurroundingsの相互作用を抽出する

・Person-Scene Encoder

semantic segmentationを利用して周辺環境のpixel-levelの情報からCNNで特徴量mapを作成し，そこに人の情報を付与する．その後LSTMでencoding

・Person-Object Encoder

ここでは，Person Behaviour moduleで得た人と周辺物体/人のBBoxから，上式で，幾何距離．Boxの比を求める．
対数関数を用いることで，近くの物や人によって影響される可能性が高いという観察を反映.
これらから人間の行動に関して，周りから受ける影響を抽出したい．

Visual Feature Tensor Q

上記4つのモジュールから生成される以下の4つの特徴(同次元)
・外観
・体の各部の動き
・人-シーンの関係
・人-人(or物)間の関係

に，一つ前の時刻の軌跡情報

を加えた，5つのVisual Feature Tensor Qを作成．

Trajectory Generator

将来の軌跡の予測をする．

et-1は，t-1秒の予測軌跡からembeddingで抽出．

qtは，Qの主要特徴(salient)を抽出した特徴量
以下の式で導出される
attetion matrix Atと，Sequence attentionmatrix　Btを得た後，

内積にて類似性を抽出して，からqtを算出．

Activity Prediction

Activity location prediction(with Manhatttan Grid)

1,まず，画像をh*wのマンハッタングリッドに分割．
2,二つのConvolutionにより位置分類と，位置回帰を行う．

・位置分類
最終位置がManhattan Gridのどの位置になるのか予想
・位置回帰
グリッドの中心と最終的な位置座標の差を予測

これらを同時に行うことで，robustな予測が行える．

Activity label prediction

未来のラベル予測．ラベルは，マルチラベルも考える