はじめに

CVPR2020から以下の論文
[1] K. Cheng, et. al."Skeleton-Based Action Recognition with Shift Graph Convolutional Network." CVPR2020
のまとめ

CVF open access:
https://openaccess.thecvf.com/content_CVPR_2020/html/Cheng_Skeleton-Based_Action_Recognition_With_Shift_Graph_Convolutional_Network_CVPR_2020_paper.html

公式コード：
https://github.com/kchengiva/Shift-GCN
-> pytorch 0系

概要

骨格から行動を推定する系のモデル
graph convolutionにshift-convの仕組みを取り入れた
それにより直近SOTAなモデルと比較して高い精度を達成しながら、かつ10倍以上の高速化を実現した

以下はGCN系の有名モデルと精度（accuracy）、速度（GFLOPs）を比較したもの

関連研究

ここではshift-GCNを理解する上で必要となる、１）通常のconv、２）GCN、３）shift-cnnをざっくりおさらい。

１）通常のconv

言わずもがな、通常のconv。説明略。以下の図で概観すると

$(D_F, D_F, C)$ のfeature mapに対して3 x 3 x C x C'のkernelで畳み込む。

２）GCN

こちらも略。
拙著記事等参考に。
https://qiita.com/masataka46/items/78480b730df1326b883b

以下の図で概観すると

左端は隣接行列や単位行列など（を恐らく正規化したもの）で、これをmultiplyすることで関係のないconnectionを削除する。その右はfeature mapで、縦のNが各joint、奥側のCがchannel。それに1x1convで畳み込む。

３）shift-CNN

shift-CNNは[2]などで提案されているconvolutionのしくみ。以下の図

のようにfeature mapをチャンネル毎に別の方向にずらす。その後1x1 conv（point-wise）で畳み込む。

通常のconvではkernelの大きさの分だけ層を重ねる毎に受容野が広がっていくが、shift-convの場合はshiftすることにより受容野が広がる。

$S_i = (x_i, y_i)$ を i チャンネルにおける x 方向および y 方向のshiftとして、受容野は１つの層で

R = \{ -S_1 \} \cup \{ -S_2 \} \cup \cdots \cup \{ -S_C \}

だけ広がる。具体的には各方向1のshiftなら、3x3となる。

これによって畳み込みの演算量を大幅に減らすことができる。例えば、通常の畳み込みでは、
$D_F$ :feature mapの大きさ
$D_K$ :kernelの大きさ
$C$ :入力側チャンネル数
$C'$ :出力側チャンネル数
として

D^2_K \times D^2_F \times C \times C'

だが、shift-convの場合はkernelが 1x1なので

1^2 \times D^2_F \times C \times C'

となり、大幅に減る。

Shift graph convolutional network

本題のshift-GCN。

local graph shift operation
non-local graph shift operation

の２種類がある。

local graph shift operation

shiftさせるのは隣のnodeに対してのみ。以下の図で考える。

node７つが図中左のようにつながっている。中央・右のmatrixは縦がnode、横がchannelを表す。channel数は２０。

node 1 に注目すると、node 2 のみとつながっている。よって１）shiftしない、２）node 2がshiftしてくる、の２パターン。20 channelを２で割って、前半のチャンネルはshiftせず、後半のチャンネルでnode 2をshiftさせる。（図中、中央上）

次に node 2 に注目すると、node 1, node 3, node 4 と繋がっているので、１）shiftしない、２）node 1がshiftしてくる、３）node 3がshiftしてくる、４）node 4がshiftしてくる、の４パターン。チャンネルを４つのpartにわけ、第１partはshiftしない、第２partはnode 1をshiftさせる、第３partはnode 3をshiftさせる、第４partはnode 4をshiftさせる。（図中、中央下）

こうすると最終的に図中、右のようなshift後のfeature mapができあがる。

non-local graph shift operation

上記の local graph shift operation は以下２つの問題点がある。

shift後のmatrix（図中、右）のnode3に注目すると、第４partでは無くなっている。このようにチャンネルによっては無くなるnodeが発生する
隣接したnodeのみに注目しているため、最近の研究で注目されている離れたnode間の関係性を反映していない

２の具体例として、「拍手」や「読書」は両手の関係性が重要である、など。

ならばいっそのこと、全てのnodeと全てのnodeを繋げてしまえ、というのがnon-local graph shift operation。

この図の左では全てのnodeとnodeが繋がっている。

node 1 に注目すると、図の中央上のように ${\bf mod} N$ が０の場合はshiftせず、１の場合はnode 2がshiftする、２の場合はnode 3がshiftする、・・・とする。

node 2 も同様で、図の中央下のように ${\bf mod} N$ が０の場合はshiftせず、１の場合はnode 3がshiftする、２の場合はnode 4がshiftする、・・・とする。

結局、図の右のようなfeature mapが出来上がる。

learnable mask

node間の結合は重要度が違うので、学習するmaskをかけることでこれに対応する。

\tilde{\bf F}_M = \tilde{\bf F} \circ Mask

temporal shift graph convolution

時間方向にもshift convを適応する。以下の２パターンがある。

naive temporal shift graph convolution

時間方向に単純なshiftを行うパターン。

チャンネルを $2u+1$ にわけ、それぞれ -u, -u+1, ・・・, 0, ・・・, u-1, uだけshiftする。

adaptive temporal shift graph convolution

上記 naive temporal shift graph convolution は以下２つの欠点があると著者らは主張。

任意のframe間の組み合わせが実現できない・・・最近の研究ではこれが重要だそう
manuelにu値を設定することは、そのdatasetに過適合してしまう？？？ -> ここ意味わからん

よってu 値を適応的にする？？

アーキテクチャ全体

ST-GCNをベースにする

実験と結果

NTU-RGB+D 60 による他のモデルとの比較

以下はNTU-RGB+D 60を用いた場合の他のモデルとのaccuracy, GFLOPsの比較。

accuracy はSOTAなモデルと大差ないが、GFLOPsは大幅に小さい。

spatial shift の ablation study

local shiftとnon-local shiftを比較すると、後者の方が若干よい。

temporal shift の ablation study

naive shiftとadaptive shiftを比較すると、後者が若干よい。

reference

[2] B. Wu, et. al. "Shift: A Zero FLOP, Zero Parameter Alternative to Spatial Convolutions"