関連研究

Vison Transformerの解説
https://qiita.com/wakanomi/items/55bba80338615c7cce73

CNN+ViTモデルの傾向【サーベイ】
https://qiita.com/wakayama_90b/items/96bf5d32b09cb0041c39

結論

ViTにCNNアーキテクチャをたくさん組み込んで，局所的な認識と計算量の削減の補助をする．

概要

ViTの問題点として，局所的な認識が苦手である問題点がある．物体検出やセグメンテーションタスクでは，物体の細かな認識を必要としているため，ViTをそれらのタスクに応用するには，局所的な認識を補助する構造を組み込む必要がある．そこで，局所的な認識が得意な畳み込み（LPU）を組み込んで，畳み込みとSAを交互に行い精度向上を期待する．また，FNNを畳み込みに置き換える．さらに，計算量削減のために，キーとバリューをダウンサンプリングする．また，FNNを畳み込みに置き換える．

モデル構造

CMTは4ステージの階層型モデル構造を採用する．初めの処理として，パッチ特徴量変換で畳み込み層を採用し，畳み込み層の出力をViTの入力としている．これにより，ViTの苦手な局所的な認識の補助をする．また，ここの畳み込み層で特徴量をダウンサンプリングすることでViTの計算量を削減する．
CMT Block内の処理には以下の3つの処理が組み込まれており，特徴抽出を行う．

局所的な空間認識（Local Perception Unit）
大局的な空間認識（Lightweight Multi-head Self-attention）
チャンネル方向の認識（Inverted Residual Feed-forward Network）

Local Perception Unit（LPU）

ViTの問題点として，局所的な認識が苦手である．それは，パッチに分割してパッチ間の類似度計算（SA）を行うので，パッチ内の認識ができないことにある．局所的な認識を補助するために，畳み込み層をSAの前に追加する．これによって，局所的な認識の畳み込みと，大局的な認識のSAを交互に処理することによって性能向上を目指す．Local Perception UnitにはDWConv（Depthwise Separable Convolution）とスキップ接続で構成されている．DWConvは空間方向の畳み込み．

LPU(x) = DWConv（x） + x

Lightweight Multi-head Self-attention（LMSA）

ViTの問題点として，計算量が膨大なことがある．これを解決するために，キーとバリューをダウンサンプリングする．ダウンサンプリング方法にDWConvを採用する．（他モデルでも同じようにダウンサンプリングする手法がある．畳み込みの他に線形射影や，プーリングを使用している場合もある．）また，位置情報を保存する，相対的位置バイアス（B）を追加する．

クエリ，キー，バリューの変換（キー，バリューはダウンサンプリング）


Q = xW_q \\
K=DWConv(x)W_k \\
V=DWConv(x)W_v

ダウンサンプリングされたSA（LMS）の計算


LMSA(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d}}+B)V

Inverted Residual Feed-forward Network（IRFFN）

ViTは通常，FNNにMLPが採用されていた．


MLP(x) = GELU(XW_1 + b_1)XW_2 + b_2

IRFFNは3x3DWConvを1x1Convに挟まれるような構造である．また，スキップ接続の位置を変更している．


IRFFN(x) = Conv(F(Conv(x))) \\
F(x) = DWConv(x) + x

実験結果

画像分類，物体検出，セグメンテーションで良い結果．

考察

ViTにCNNアーキテクチャを組み込む派生モデルは多くあり，CMTは組み込める場所のほぼ全てに組み込んでいる．畳み込みとSAを交互に特徴抽出することは良い傾向である．
ViTの構造に畳み込みを入れすぎても大丈夫なんだなと感じました．

まとめ

今回は，ViTにCNNをたくさん組み込んだモデル【CMT】について解説した．ViTにたくさん畳み込みを組み込むと性能が向上することが分かった．