凄まじい勢いで増殖中のTransformer論文＋αにとりあえず、目を通しつつコメントを残していく。内容があっている保証はない。

The Modern Mathematics of Deep Learning
Deep learningのモヤモヤしたところを数学的に体系立ててみた質問集。

S2-MLP: Spatial-Shift MLP Architecture for Vision
Baidu論文。MLP-mixerを良くしたよ。channel mixingのみですごくシンプル。

Batch Normalization Orthogonalizes Representations in Deep Random Networks
BNはRepresentationをOrthogonalizeすることでうまく行っているのではないか？　OrthogonalityによりSGDの精度は変わる。初期にOrthogonalizeさせておけばBNなくてもSGDを速く収束させられる。

Rethinking “Batch” in BatchNorm
FAIR論文。BNのBatchのDistributionをきちんと調べてみた。

CoAtNet: Marrying Convolution and Attention for All Data Sizes
Google論文。ConvとAttentionのHybridネットワークCoAtNet（コートネットと呼ぶ）を作成。ImageNetで、他のデータなし86.9% top-1、もっとデータを足すと89.8%でSOTA。

Does Knowledge Distillation Really Work?
GoogleとNYU論文。Distillation思いの他うまくいかないんだけど。

Knowledge distillation: A good teacher is patient and consistent
Google論文。Distillationを細かく調べた。ResNet50が更に良くなる。

Loss landscapes and optimization in over-parameterized non-linear systems and neural networks
DNNみたいなOver parameterizedなモデルは、PL conditionを満たせ（Wideなモデルなら）ばSGDで解があり、速く収束する。

DETReg: Unsupervised Pretraining with Region Priors for Object Detection
self-supervised pretraining + DETR

Universal Adder Neural Networks
CNNを全てAdderに変更して、計算を簡単にする。

You Only Look at One Sequence: Rethinking Transformer in Vision through Object Detection
YOLO+ViT。DETRに似てるけどちょっと違う。小さいモデルだとDETRより良い。

BEIT: BERT Pre-Training of Image Transformers
Microsoft論文。Self-supervisedの手法で、ViTを良くする。

Vision Transformers with Patch Diversification
ViTの学習が不安定なのをモデルを変えず、Loss関数を変えて解消。

Chasing Sparsity in Vision Transformers: An End-to-End Exploration
ViTのSparsityを使った圧縮。

CAT: Cross Attention in Vision Transformer
ViTでLocalityとPyramid構造を使った圧縮。

Scaling Vision with Sparse Mixture of Experts
Google論文。ViTでSparsityを使って、必要のないTokenの計算をしないで圧縮。

Fully Transformer Networks for Semantic Image Segmentation
Semantic segmentationをTransformerのみ（Conv層を混ぜない）で行う。Pyramid構造ありのEncoder-Decoder構造。

Rethinking Channel Dimensions for Efficient Model Design
チャンネル方向にネットワーク圧縮するための新しいNAS考えたよ。

Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations
データが偏っている場合のcontrastive self-supervised modelについて。

A Survey of Transformers
TransformerのSurvey。Transformer圧縮向けx-former系の分類。

Beyond BatchNorm: Towards a General Understanding of Normalization in Deep Learning
いろんなNormを比較。