はじめに

生成AIを用いてPoolFormerの論文「MetaFormer Is Actually What You Need for Vision」の内容を(なるべく)把握してみました。(生成AIが)論文の記載内容を始めから最後まで読んで、実際にどのような記載があるのかを把握します。

(論文の分かりやすい解説記事は見るのですが、実際の論文までチェックしないので、生成AIを使って内容を把握してみました。)

PoolFormerモデルは、Vision TransformerのAttention部分を3x3 Ave Poolingとするだけで、プーリングという非常にシンプル＆非パラメトリックなトークンミキサーを使用しても、同等サイズのViTやResNetモデルと同等の性能を達成することが分かりました。また、驚いたことに、プーリング部分をランダムな行列で混ぜる操作に変えても、1～2%の精度劣化しかしないことが分かりました。(末尾の「分かったこと」章を参照)

以降で、ChatGPTに聞いてみた例を記載します。

他例: 同類の方法を使って読んでみた結果

対象の論文

論文: (PoolFormerに関する論文)

[2111.11418] MetaFormer Is Actually What You Need for Vision
https://arxiv.org/abs/2111.11418
(PDF: https://arxiv.org/pdf/2111.11418)

質問時の各章節の区切り部分

論文の中にある各章節を、下記のように区切って、部分毎に生成AIに内容を質問していきます。

Abstract
---
1.-Introduction
---
2.-Related work
---
3.-Method
3.1. MetaFormer
---
3.2. PoolFormer
---
4.-Experiments
4.1. Image classification
---
4.2. Object detection and instance segmentation
4.3. Semantic segmentation
---
4.4. Ablation studies
---
5.-Conclusion and future work
---
A. Detailed hyper-parameters on ImageNet-
B. Training for longer epochs
C. Qualitative results
D. Comparison between Layer Normalization
E. Code in PyTorch

生成AIへの質問方法

生成AIを活用して、知りたい記事・論文の1節分(適度な長さ)のテキストをコピー＆ペーストして、その下に質問内容を「①～ ②～ …」と番号付きで書いて、生成AIに渡せば、全質問に一発で的確に回答してくれるので、非常に良好でした。記事全体を読む必要なく、知りたい点の情報だけを収集できます。

生成AIへの質問例:

(論文・記事の各章節を貼り付け)

上記の内容に関して下記の質問に回答下さい: (である調で記載、質問に対して該当するものが無ければ無しと記載、対応する図/表番号があれば記載)
①何についての記載か? + 要旨は何? (要旨は箇条書きで記載)
②改良点・工夫点・テクニック等の記載があれば説明下さい。
③性能が向上した記載があれば説明下さい。(具体値があれば記載、対応する図/表番号があれば各文末に記載)
④メカニズムの解明・なぜそうなるのか等の記載があれば説明下さい。
⑤具体的な処理方法の記載があれば説明下さい。(簡略化せずに全て記載、既存手法の適用であれば引用元を記載)

続けて下記の質問に追加で回答下さい:
⑥比較の記載があれば違いを表でまとめて下さい。(対応する図/表番号があれば明記)
⑦上記⑥以外で表に出来そうな部分があれば表でまとめて下さい。(対応する図/表番号があれば記載)
⑧具体的な数値の記載を全て列挙して、表にまとめて下さい。(|数値|説明|の表へ)
⑨具体的な変数名(数式用の記号)の記載を全て列挙して、表にまとめて下さい。(|変数名|説明|の表へ)
⑩図/表があれば、各図/表は何を主張するためのものかを説明下さい。(掲載理由・注目ポイント等)

※回答が長くなりそうな場合は、適宜、分けて質問: ①②③④⑤、⑥⑦⑧⑨⑩
※その他、不明点があれば、適宜、追加で質問。

質問内容は、記事・論文を読んでいていつも知りたいと思う点(改良点・工夫点・テクニック・メカニズムの解明)にしています。また、表で比較した方が素早く把握できるので、可能であれば記事を表に変換するようにしています。

論文・記事を貼り付けるテキストの長さは、1節分程度の量にとどめた方が、良い回答が得られました。生成AIの回答の文量が多くなってくると、回答が長くなり過ぎないように、生成AIが勝手に(適度に)端折り始めてしまい、重要な点が回答から抜けてしまう可能性が高くなります。

事前知識

機械学習についてある程度知っていないと、生成AIに質問しても、その回答内容だけでは理解できないと思います。生成AIの回答は、論文の内容をあまり変えずに、要点をそのまま掻い摘んで回答するような形になっています。

PoolFormerについての分かりやすい解説記事(下記)等を事前にチェックして、中核部分の内容をあらかじめ分かっていると、理解しやすいと思います。生成AIは実際の細かい処理方法自体を分かりやすく説明してはくれない傾向があります。

注意点

論文のテキスト内容だけを貼り付けて、生成AIに質問しています。論文の中の図・表の部分は貼り付けていません。図・表の内容は生成AIの回答には含まれず、別途論文を見る必要があります。

以降で、生成AIの回答内容が読みにくい・分かりづらい場合は、論文の本文でも同じように書かれてあり、論文の本文を読んでも同じように分かりづらいことが多くあります。論文では、既存研究等があるため、多くの説明を省略・一言だけサラッと書かれてある等、同種の研究に取り組む人でなければ、なかなか全容の理解に辿りつくのは難しい側面があります。この点は、生成AIの回答性能が悪いのではなく、論文という性質上、生じるものと考えています。

生成AIに質問

以降で、ChatGPTに実際に聞いてみた例を記載します。

生成AIへの質問＆回答の全容

生成AIへの質問＆回答の全容・詳細:

Abstract

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) Abstract Transformers have shown great potential in computer vision tasks. A common belief is their attention-based to- ken mixer module contributes most to their competence. However, recent works show the attention-based module in Transformers can be replaced by spatial MLPs and the re- sulted models still perform quite well. Based on this ob- servation, we hypothesize that the general architecture of the Transformers, instead of the specific token mixer mod- ule, is more essential to the model’s performance. To verify this, we deliberately replace the attention module in Trans- formers with an embarrassingly simple spatial pooling op- erator to conduct only basic token mixing. Surprisingly, we observe that the derived model, termed as PoolFormer, achieves competitive performance on multiple computer vi- sion tasks. For example, on ImageNet-1K, PoolFormer achieves 82.1% top-1 accuracy, surpassing well-tuned Vi- sion Transformer/MLP-like baselines DeiT-B/ResMLP-B24 by 0.3%/1.1% accuracy with 35%/52% fewer parameters and 50%/62% fewer MACs. The effectiveness of Pool- Former verifies our hypothesis and urges us to initiate the concept of “MetaFormer”, a general architecture ab- stracted from Transformers without specifying the token mixer. Based on the extensive experiments, we argue that MetaFormer is the key player in achieving superior re- sults for recent Transformer and MLP-like models on vision tasks. This work calls for more future research dedicated to improving MetaFormer instead of focusing on the to- ken mixer modules. Additionally, our proposed PoolFormer could serve as a starting baseline for future MetaFormer architecture design.

上記の内容に関して下記の質問に回答下さい: (である調で記載、質問に対して該当するものが無ければ無しと記載、対応する図/表番号があれば記載)
①何についての記載か? + 要旨は何? (要旨は箇条書きで記載)
②改良点・工夫点・テクニック等の記載があれば説明下さい。
③性能が向上した記載があれば説明下さい。(具体値があれば記載、対応する図/表番号があれば各文末に記載)
④メカニズムの解明・なぜそうなるのか等の記載があれば説明下さい。
⑤具体的な処理方法の記載があれば説明下さい。(簡略化せずに全て記載、既存手法の適用であれば引用元を記載)
⑥比較の記載があれば違いを表でまとめて下さい。(対応する図/表番号があれば明記)

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

この部分では、Transformerモデルの性能において、Attentionベースのトークンミキサーモジュールよりも、Transformerの一般的なアーキテクチャ自体が重要であることを主張している。さらに、Attentionモジュールをシンプルな空間プーリング演算に置き換えても、競争力のある性能を達成できることを示している。

要旨

TransformerのAttentionベースのモジュールは、Spatial MLPsに置き換え可能である。
Attentionモジュール自体よりも、Transformerの一般的なアーキテクチャが性能に大きく寄与している。
Attentionモジュールをシンプルな空間プーリング演算に置き換えたPoolFormerモデルは、複数のコンピュータビジョンタスクにおいて競争力のある性能を達成。
ImageNet-1Kにおいて、PoolFormerは82.1%のトップ1精度を達成し、DeiT-BやResMLP-B24のようなベースラインモデルをパラメータ数やMACsで大幅に上回る。
MetaFormerという概念を提案し、トークンミキサーに依存しない一般的なアーキテクチャが性能の鍵であると主張。
PoolFormerは、今後のMetaFormerアーキテクチャ設計のベースラインとして利用可能。

②改良点・工夫点・テクニック等の記載

Attentionモジュールをシンプルな空間プーリング演算に置き換え、トークンミキサーの役割を最小限に抑えるという斬新なアプローチを採用した。
空間プーリングは計算コストを大幅に削減しながらも、競争力のある性能を維持する工夫がなされている。
MetaFormerという新しい一般的なアーキテクチャを提案し、AttentionやMLPに限定されない柔軟な設計を可能にした。

③性能が向上した記載

PoolFormerは、ImageNet-1Kで82.1%のトップ1精度を達成し、DeiT-Bモデルよりも0.3%、ResMLP-B24よりも1.1%高い精度を示した (表番号は記載なし)。
PoolFormerはDeiT-Bと比較して35%少ないパラメータ数、50%少ないMACsで動作し、ResMLP-B24に対しては52%少ないパラメータ数、62%少ないMACsで動作している (表番号は記載なし)。

④メカニズムの解明・なぜそうなるのか等の記載

Attentionベースのモジュールがトークンミキシングに不可欠ではないことが示唆されている。基本的なトークンミキシングのみを行うシンプルな空間プーリング演算でも、十分な性能を発揮するため、Attentionモジュール自体が本質的な要素ではないことが明らかになっている。
Transformerの一般的なアーキテクチャ (MetaFormer) がモデル性能に大きな影響を与えるため、特定のトークンミキサーの種類よりも、このアーキテクチャを改善することがより重要である。

⑤具体的な処理方法の記載

TransformerのAttentionモジュールをシンプルな空間プーリング演算に置き換えた処理が行われている。これは、通常のトークンミキサーの複雑な計算を行わず、代わりに空間的な情報を平均化するだけの演算である。
計算リソースの削減に寄与する設計として、Attentionではなく空間プーリングを使用することにより、トークン間の相互作用を単純化している。

⑥比較の記載

モデル	トップ1精度	パラメータ数の削減	MACsの削減	備考
PoolFormer	82.1%	35%	50%	DeiT-Bと比較
PoolFormer	82.1%	52%	62%	ResMLP-B24と比較

1. Introduction

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 1. Introduction Transformers have gained much interest and success in the computer vision field [3, 8, 44, 55]. Since the semi- nal work of Vision Transformer (ViT) [17] that adapts pure Transformers to image classification tasks, many follow-up models are developed to make further improvements and achieve promising performance in various computer vision tasks [36, 53, 63]. The Transformer encoder, as shown in Figure 1(a), con- sists of two components. One is the attention module for mixing information among tokens and we term it as token mixer. The other component contains the remaining mod- ules, such as channel MLPs and residual connections. By regarding the attention module as a specific token mixer, we further abstract the overall Transformer into a general archi- tecture MetaFormer where the token mixer is not specified, as shown in Figure 1(a). The success of Transformers has been long attributed to the attention-based token mixer [56]. Based on this common belief, many variants of the attention modules [13, 22, 57, 68] have been developed to improve the Vision Transformer. However, a very recent work [51] replaces the attention module completely with spatial MLPs as to- ken mixers, and finds the derived MLP-like model can read- ily attain competitive performance on image classification benchmarks. The follow-up works [26, 35, 52] further im- prove MLP-like models by data-efficient training and spe- cific MLP module design, gradually narrowing the perfor- mance gap to ViT and challenging the dominance of atten- tion as token mixers. Some recent approaches [32, 39, 40, 45] explore other types of token mixers within the MetaFormer architecture, and have demonstrated encouraging performance. For ex- ample, [32] replaces attention with Fourier Transform and still achieves around 97% of the accuracy of vanilla Trans- formers. Taking all these results together, it seems as long as a model adopts MetaFormer as the general architecture, promising results could be attained. We thus hypothesize compared with specific token mixers, MetaFormer is more essential for the model to achieve competitive performance. To verify this hypothesis, we apply an extremely sim- ple non-parametric operator, pooling, as the token mixer to conduct only basic token mixing. Astonishingly, this derived model, termed PoolFormer, achieves competi- tive performance, and even consistently outperforms well- tuned Transformer and MLP-like models, including DeiT [53] and ResMLP [52], as shown in Figure 1(b). More specifically, PoolFormer-M36 achieves 82.1% top-1 accu- racy on ImageNet-1K classification benchmark, surpassing well-tuned vision Transformer/MLP-like baselines DeiT- B/ResMLP-B24 by 0.3%/1.1% accuracy with 35%/52% fewer parameters and 50%/62% fewer MACs. These re- sults demonstrate that MetaFormer, even with a naive token mixer, can still deliver promising performance. We thus ar- gue that MetaFormer is our de facto need for vision models which is more essential to achieve competitive performance rather than specific token mixers. Note that it does not mean the token mixer is insignificant. MetaFormer still has this abstracted component. It means token mixer is not limited to a specific type, e.g. attention. The contributions of our paper are two-fold. Firstly, we abstract Transformers into a general architecture MetaFormer, and empirically demonstrate that the success of Transformer/MLP-like models is largely attributed to the MetaFormer architecture. Specifically, by only employing a simple non-parametric operator, pooling, as an extremely weak token mixer for MetaFormer, we build a simple model named PoolFormer and find it can still achieve highly com- petitive performance. We hope our findings inspire more future research dedicated to improving MetaFormer instead of focusing on the token mixer modules. Secondly, we eval- uate the proposed PoolFormer on multiple vision tasks in- cluding image classification [14], object detection [34], in- stance segmentation [34], and semantic segmentation [67], and find it achieves competitive performance compared with the SOTA models using sophistic design of token mix- ers. The PoolFormer can readily serve as a good starting baseline for future MetaFormer architecture design.

Figure 1. MetaFormer and performance of MetaFormer-based models on ImageNet-1K validation set. As shown in (a), we present
MetaFormer as a general architecture abstracted from Transformers [56] by not specifying the token mixer. When using attention/spatial
MLP as the token mixer, MetaFormer is instantiated as Transformer/MLP-like models. We argue that the competence of Transformer/MLP-
like models primarily stems from the general architecture MetaFormer instead of the equipped specific token mixers. To demonstrate this,
we exploit an embarrassingly simple non-parametric operator, pooling, to conduct extremely basic token mixing. Surprisingly, the resulted
model PoolFormer consistently outperforms the well-tuned vision Transformer [17] baseline (DeiT [53]) and MLP-like [51] baseline
(ResMLP [52]) as shown in (b), which well supports that MetaFormer is actually what we need to achieve competitive performance. RSB-
ResNet in (b) means the results are from “ResNet Strikes Back” [59] where ResNet [24] are trained with improved training procedure for
300 epochs.

上記の内容に関して下記の質問に回答下さい: (である調で記載、質問に対して該当するものが無ければ無しと記載、対応する図/表番号があれば記載)
①何についての記載か? + 要旨は何? (要旨は箇条書きで記載)
②改良点・工夫点・テクニック等の記載があれば説明下さい。
③性能が向上した記載があれば説明下さい。(具体値があれば記載、対応する図/表番号があれば各文末に記載)
④メカニズムの解明・なぜそうなるのか等の記載があれば説明下さい。
⑤具体的な処理方法の記載があれば説明下さい。(簡略化せずに全て記載、既存手法の適用であれば引用元を記載)

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

本節は、Transformerの一般的なアーキテクチャ (MetaFormer) が性能に重要であることを示し、Attentionベースのトークンミキサーモジュールの必要性を再考している。また、非常にシンプルなトークンミキサー（プーリング）を使用しても、競争力のある性能が達成できることを実証している。

要旨

Vision Transformer (ViT) 以降、Transformerの改良モデルが多く提案されてきた。
Transformerの基本構造は、トークンミキサー (AttentionやMLPなど) と残りのモジュールから構成される。
最近の研究は、Attentionモジュールを別のトークンミキサー (例: Spatial MLP) に置き換えても、競争力のある性能が得られることを示している。
MetaFormerという一般アーキテクチャを提案し、特定のトークンミキサーに依存せずに優れた性能を発揮できることを主張。
プーリングというシンプルなトークンミキサーを使用したPoolFormerモデルが、ViTやMLPモデルを上回る性能を達成。
MetaFormerは、モデル性能において特定のトークンミキサーよりも重要であり、今後の研究はMetaFormerの改良に焦点を当てるべきである。

②改良点・工夫点・テクニック等の記載

Transformerの構造をMetaFormerとして抽象化し、トークンミキサーの特定をせずに、一般的なアーキテクチャを提案している。このアプローチにより、Attention以外のミキサーも容易に採用可能となっている。
トークンミキサーとして、非常にシンプルな非パラメトリックなプーリング演算を導入し、計算コストを削減しながらも高い性能を維持している。

③性能が向上した記載

PoolFormer-M36は、ImageNet-1Kにおいて82.1%のトップ1精度を達成し、DeiT-Bを0.3%、ResMLP-B24を1.1%上回っている (図1(b))。
PoolFormerはDeiT-Bと比較して35%少ないパラメータ数、50%少ないMACs、ResMLP-B24と比較して52%少ないパラメータ数、62%少ないMACsで動作している (図1(b))。

④メカニズムの解明・なぜそうなるのか等の記載

MetaFormerの成功は、特定のトークンミキサーではなく、全体のアーキテクチャが性能向上に寄与していると仮定している。この仮定を検証するため、極めてシンプルなプーリングをトークンミキサーとして採用し、それでも競争力のある性能を示すことで、特定の複雑なミキサーに依存しないことが確認された。
プーリングのようなシンプルな操作でも、トークン間の基本的な情報の相互作用を実現できるため、MetaFormerは柔軟であり、Attentionモジュールの優位性は必ずしも必要ないことが示唆されている。

⑤具体的な処理方法の記載

TransformerモデルのAttentionモジュールをプーリング演算に置き換えることで、トークンミキサーの役割をシンプル化している。プーリングは非パラメトリックであり、トークン間の情報を基本的に平均化する処理として機能する。
他の複雑なトークンミキサー (例: Fourier Transform) とも比較され、基本的なトークンミキシングでも競争力のある結果が得られている (引用元 [32])。

▼質問(人間)
続けて下記の質問に追加で回答下さい:
⑥比較の記載があれば違いを表でまとめて下さい。(対応する図/表番号があれば明記)
⑦上記⑥以外で表に出来そうな部分があれば表でまとめて下さい。(対応する図/表番号があれば記載)
⑧具体的な数値の記載を全て列挙して、表にまとめて下さい。(|数値|説明|の表へ)
⑨具体的な変数名(数式用の記号)の記載を全て列挙して、表にまとめて下さい。(|変数名|説明|の表へ)
⑩図/表があれば、各図/表は何を主張するためのものかを説明下さい。(掲載理由・注目ポイント等)

▼生成AIの回答(ChatGPT-4o)
⑥比較の記載があれば違いを表でまとめて下さい。(対応する図/表番号があれば明記)

モデル	Top-1精度 (ImageNet-1K)	パラメータ数	MACs	図/表番号
PoolFormer-M36	82.1%	-35% (DeiT-Bより)	-50% (DeiT-Bより)	図1(b)
DeiT-B	81.8%	基準	基準	図1(b)
ResMLP-B24	81.0%	-52% (PoolFormerより)	-62% (PoolFormerより)	図1(b)

この表は、各モデルの精度や計算コストにおける違いを示しており、PoolFormerの優位性を明確にしている。

⑦上記⑥以外で表に出来そうな部分があれば表でまとめて下さい。(対応する図/表番号があれば記載)

アーキテクチャ	トークンミキサー	特徴
MetaFormer	指定なし	トークンミキサーを抽象化
Transformer	Attention	複雑なトークンミキシング
MLP-like	Spatial MLP	シンプルなミキシング

この表は、MetaFormerの一般的なアーキテクチャが、特定のトークンミキサーに依存しないことを示している。

⑧具体的な数値の記載を全て列挙して、表にまとめて下さい。

数値	説明
82.1%	PoolFormer-M36のTop-1精度 (ImageNet-1K)
81.8%	DeiT-BのTop-1精度 (ImageNet-1K)
81.0%	ResMLP-B24のTop-1精度 (ImageNet-1K)
-35%	PoolFormer-M36のDeiT-Bに対するパラメータ数の削減率
-52%	PoolFormer-M36のResMLP-B24に対するパラメータ数の削減率
-50%	PoolFormer-M36のDeiT-Bに対するMACsの削減率
-62%	PoolFormer-M36のResMLP-B24に対するMACsの削減率

⑨具体的な変数名(数式用の記号)の記載を全て列挙して、表にまとめて下さい。

該当なし。

⑩図/表があれば、各図/表は何を主張するためのものかを説明下さい。(掲載理由・注目ポイント等)

図1(a): MetaFormerをTransformerから抽象化した一般アーキテクチャとして示している。トークンミキサーに関わらず、MetaFormerが中心的な構造であることを主張。
図1(b): PoolFormerがDeiT-BやResMLP-B24などの競合モデルを精度、パラメータ数、MACsの面で上回ることを視覚的に示している。

2. Related work

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 2. Related work Transformers are first proposed by [56] for translation tasks and then rapidly become popular in various NLP tasks. In language pre-training tasks, Transformers are trained on large-scale unlabeled text corpus and achieve amazing per- formance [2, 15]. Inspired by the success of Transform- ers in NLP, many researchers apply attention mechanism and Transformers to vision tasks [3, 8, 44, 55]. Notably, Chen et al. introduce iGPT [6] where the Transformer is trained to auto-regressively predict pixels on images for self-supervised learning. Dosovitskiy et al. propose Vi- sion Transformer (ViT) with hard patch embedding as in- put [17]. They show that on supervised image classifica- tion tasks, a ViT pre-trained on a large propriety dataset (JFT dataset with 300 million images) can achieve excellent performance. DeiT [53] and T2T-ViT [63] further demon- strate that the ViT pre-trained on only ImageNet-1K (∼ 1.3 million images) from scratch can achieve promising per- formance. A lot of works have been focusing on improv- ing the token mixing approach of Transformers by shifted windows [36], relative position encoding [61], refining at- tention map [68], or incorporating convolution [12, 21, 60], etc. In addition to attention-like token mixers, [51, 52] sur- prisingly find that merely adopting MLPs as token mixers can still achieve competitive performance. This discovery challenges the dominance of attention-based token mixers and triggers a heated discussion in the research community about which token mixer is better [7, 26]. However, the tar- get of this work is neither to be engaged in this debate nor to design new complicated token mixers to achieve new state of the art. Instead, we examine a fundamental question: What is truly responsible for the success of the Transform- ers and their variants? Our answer is the general architec- ture i.e., MetaFormer. We simply utilize pooling as basic token mixers to probe the power of MetaFormer. Contemporarily, some works contribute to answering the same question. Dong et al. prove that without residual con- nections or MLPs, the output converges doubly exponen- tially to a rank one matrix [16]. Raghu et al. [43] com- pare the feature difference between ViT and CNNs, finding that self-attention allows early gathering of global informa- tion while residual connections greatly propagate features from lower layers to higher ones. Park et al. [42] shows that multi-head self-attentions improve accuracy and gen- eralization by flattening the loss landscapes. Unfortunately, they do not abstract Transformers into a general architecture and study them from the aspect of general framework.

上記の内容に関して下記の質問に回答下さい: (である調で記載、質問に対して該当するものが無ければ無しと記載、対応する図/表番号があれば記載)
①何についての記載か? + 要旨は何? (要旨は箇条書きで記載)
②改良点・工夫点・テクニック等の記載があれば説明下さい。
③性能が向上した記載があれば説明下さい。(具体値があれば記載、対応する図/表番号があれば各文末に記載)
④メカニズムの解明・なぜそうなるのか等の記載があれば説明下さい。
⑤具体的な処理方法の記載があれば説明下さい。(簡略化せずに全て記載、既存手法の適用であれば引用元を記載)

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

本章は、Transformersの歴史的な発展と、主に視覚タスクにおける応用について述べている。また、既存の研究がトークンミキシングの改善に焦点を当てる一方で、本研究では一般的なアーキテクチャ「MetaFormer」に注目し、その有効性を検証することを目的としている。

要旨は以下の通りである:

Transformersは元々翻訳タスクで提案され、その後NLPタスクで広く採用された。
NLPの成功に触発され、視覚タスクにもAttentionメカニズムとTransformersが導入された。
ViTは大規模なデータセットで事前学習することで優れた性能を発揮。
DeiTとT2T-ViTは、ImageNet-1Kのデータセットで事前学習なしでも良好な結果を示した。
トークンミキサーにMLPを採用しても競争力のある性能が得られることが判明。
本研究の目的は新しいトークンミキサーを設計することではなく、MetaFormerという一般アーキテクチャの重要性を検証することである。

②改良点・工夫点・テクニック等の記載があれば説明下さい。

本研究の改良点としては、トークンミキサーの複雑さに依存するのではなく、MetaFormerという一般アーキテクチャに焦点を当て、シンプルなプーリング操作をトークンミキサーとして採用する点が挙げられる。

③性能が向上した記載があれば説明下さい。(具体値があれば記載、対応する図/表番号があれば各文末に記載)

本章には性能向上に関する具体的な数値は記載されていないが、MLPのようなトークンミキサーを使用しても競争力のある性能が得られることが述べられている【図なし】。

④メカニズムの解明・なぜそうなるのか等の記載があれば説明下さい。

トークンミキサーの違いに関わらず、Transformersやその変種の成功の要因は一般的なアーキテクチャであるMetaFormerにあると主張している。これは、特定のトークンミキサーではなく、アーキテクチャそのものが本質的に性能に寄与していることを示唆している。

⑤具体的な処理方法の記載があれば説明下さい。(簡略化せずに全て記載、既存手法の適用であれば引用元を記載)

本研究では、トークンミキサーとしてAttentionやMLPを使用するのではなく、シンプルなプーリング操作を用いることでMetaFormerの有効性を検証している。

▼質問(人間)
続けて下記の質問に追加で回答下さい:
⑥比較の記載があれば違いを表でまとめて下さい。(対応する図/表番号があれば明記)
⑦上記⑥以外で表に出来そうな部分があれば表でまとめて下さい。(対応する図/表番号があれば記載)
⑧具体的な数値の記載を全て列挙して、表にまとめて下さい。(|数値|説明|の表へ)
⑨具体的な変数名(数式用の記号)の記載を全て列挙して、表にまとめて下さい。(|変数名|説明|の表へ)
⑩図/表があれば、各図/表は何を主張するためのものかを説明下さい。(掲載理由・注目ポイント等)

▼生成AIの回答(ChatGPT-4o)
⑥比較の記載があれば違いを表でまとめて下さい。(対応する図/表番号があれば明記)

本章では、トークンミキサーとしてAttentionとMLPの両方が使用される場合の性能の比較について言及されているが、具体的な数値や詳細な比較表は記載されていない。したがって、比較の表としてまとめる情報はない。

⑦上記⑥以外で表に出来そうな部分があれば表でまとめて下さい。(対応する図/表番号があれば記載)

表にできる部分は特に記載されていない。

⑧具体的な数値の記載を全て列挙して、表にまとめて下さい。(|数値|説明|の表へ)

本章には具体的な数値の記載はない。

⑨具体的な変数名(数式用の記号)の記載を全て列挙して、表にまとめて下さい。(|変数名|説明|の表へ)

本章には具体的な数式や変数名は記載されていない。

⑩図/表があれば、各図/表は何を主張するためのものかを説明下さい。(掲載理由・注目ポイント等)

本章には図表の掲載はない。

▼質問(人間)
「1. Introduction」「2. Related work」の章において、下記の質問に追加で回答下さい:
⑪関連研究の参照番号を全て列挙して、表にまとめて下さい。(元文にある内容のみ記載・類推して付け足しは不要、|参照番号|概要説明|の表へ)

▼生成AIの回答(ChatGPT-4o)
⑪関連研究の参照番号を全て列挙して、表にまとめて下さい。(元文にある内容のみ記載・類推して付け足しは不要)

参照番号	概要説明
[3]	VisionタスクにおけるTransformerの応用に関する研究。
[6]	自己教師付き学習のためにピクセルを予測するiGPTに関する研究。
[7]	トークンミキサーに関する議論に関連する研究。
[8]	VisionタスクにおけるTransformerの応用に関する研究。
[12]	Convolutionを取り入れたトークンミキサーに関する研究。
[13]	Attentionモジュールの改良に関する研究。
[15]	大規模テキストコーパスを用いたTransformerの言語事前学習に関する研究。
[16]	残差接続やMLPがない場合に出力がランク1行列に収束することを証明した研究。
[17]	Vision Transformer（ViT）を提案した研究。
[21]	Convolutionを取り入れたトークンミキサーに関する研究。
[22]	Attentionモジュールの改良に関する研究。
[24]	ResNetに関する研究。
[26]	トークンミキサーに関する議論に関連する研究。
[32]	AttentionをFourier変換に置き換えた手法に関する研究。
[35]	MLPモジュール設計によるMLPライクなモデルの改良に関する研究。
[36]	Shifted Windowsを使用したトークンミキサーの改良に関する研究。
[39]	MetaFormerアーキテクチャにおける他のトークンミキサーに関する研究。
[40]	MetaFormerアーキテクチャにおける他のトークンミキサーに関する研究。
[42]	マルチヘッドSelf-Attentionが損失のランドスケープを平坦化し、精度と汎化能力を向上させることを示した研究。
[43]	ViTとCNNの特徴の違いを比較した研究。
[44]	VisionタスクにおけるTransformerの応用に関する研究。
[45]	MetaFormerアーキテクチャにおける他のトークンミキサーに関する研究。
[51]	MLPをトークンミキサーとして採用し、競争力のあるパフォーマンスを達成した研究。
[52]	MLPをトークンミキサーとして採用し、競争力のあるパフォーマンスを達成した研究。
[53]	ImageNet-1Kで事前学習されたDeiTモデルに関する研究。
[55]	VisionタスクにおけるTransformerの応用に関する研究。
[56]	Transformerを翻訳タスクのために提案した初出の研究。
[57]	Attentionモジュールの改良に関する研究。
[59]	改良されたトレーニング手法を用いてResNetを300エポックで学習させた研究（"ResNet Strikes Back"）。
[60]	Convolutionを取り入れたトークンミキサーに関する研究。
[61]	Relative Position Encodingを使用したトークンミキサーの改良に関する研究。
[63]	ImageNet-1Kで事前学習されたT2T-ViTモデルに関する研究。
[67]	セマンティックセグメンテーションタスクに関する研究。
[68]	Attentionモジュールの改良に関する研究。

▼質問(人間)
上記の表を関連するもの同士でまとめて並べ替え下さい。

▼生成AIの回答(ChatGPT-4o)
⑪関連研究の参照番号を関連するもの同士でまとめて並べ替え

参照番号	概要説明
[56]	Transformerを翻訳タスクのために提案した初出の研究。
[2]	大規模テキストコーパスを用いたTransformerの言語事前学習に関する研究。
[15]	大規模テキストコーパスを用いたTransformerの言語事前学習に関する研究。
[3]	VisionタスクにおけるTransformerの応用に関する研究。
[8]	VisionタスクにおけるTransformerの応用に関する研究。
[44]	VisionタスクにおけるTransformerの応用に関する研究。
[55]	VisionタスクにおけるTransformerの応用に関する研究。
[17]	Vision Transformer（ViT）を提案した研究。
[53]	ImageNet-1Kで事前学習されたDeiTモデルに関する研究。
[63]	ImageNet-1Kで事前学習されたT2T-ViTモデルに関する研究。
[6]	自己教師付き学習のためにピクセルを予測するiGPTに関する研究。
[12]	Convolutionを取り入れたトークンミキサーに関する研究。
[21]	Convolutionを取り入れたトークンミキサーに関する研究。
[60]	Convolutionを取り入れたトークンミキサーに関する研究。
[36]	Shifted Windowsを使用したトークンミキサーの改良に関する研究。
[61]	Relative Position Encodingを使用したトークンミキサーの改良に関する研究。
[68]	Attentionモジュールの改良に関する研究。
[13]	Attentionモジュールの改良に関する研究。
[22]	Attentionモジュールの改良に関する研究。
[51]	MLPをトークンミキサーとして採用し、競争力のあるパフォーマンスを達成した研究。
[52]	MLPをトークンミキサーとして採用し、競争力のあるパフォーマンスを達成した研究。
[7]	トークンミキサーに関する議論に関連する研究。
[26]	トークンミキサーに関する議論に関連する研究。
[32]	AttentionをFourier変換に置き換えた手法に関する研究。
[39]	MetaFormerアーキテクチャにおける他のトークンミキサーに関する研究。
[40]	MetaFormerアーキテクチャにおける他のトークンミキサーに関する研究。
[45]	MetaFormerアーキテクチャにおける他のトークンミキサーに関する研究。
[16]	残差接続やMLPがない場合に出力がランク1行列に収束することを証明した研究。
[43]	ViTとCNNの特徴の違いを比較した研究。
[42]	マルチヘッドSelf-Attentionが損失のランドスケープを平坦化し、精度と汎化能力を向上させることを示した研究。
[24]	ResNetに関する研究。
[59]	改良されたトレーニング手法を用いてResNetを300エポックで学習させた研究（"ResNet Strikes Back"）。
[67]	セマンティックセグメンテーションタスクに関する研究。

3. Method

3.1. MetaFormer

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 3. Method 3.1. MetaFormer We present the core concept “MetaFormer” for this work at first. As shown in Figure 1, abstracted from Transformers [56], MetaFormer is a general architecture where the token mixer is not specified while the other components are kept the same as Transformers. The input I is first processed by input embedding, such as patch embedding for ViTs [17], X = InputEmb(I), (1) where X ∈ RN ×C denotes the embedding tokens with se- quence length N and embedding dimension C. Then, embedding tokens are fed to repeated MetaFormer blocks, each of which includes two residual sub-blocks. Specifically, the first sub-block mainly contains a token mixer to communicate information among tokens and this sub-block can be expressed as Y = TokenMixer(Norm(X)) + X, (2) where Norm(·) denotes the normalization such as Layer Normalization [1] or Batch Normalization [28]; TokenMixer(·) means a module mainly working for mixing token information. It is implemented by various attention mechanism in recent vision Transformer models [17,63,68] or spatial MLP in MLP-like models [51, 52]. Note that the main function of the token mixer is to propagate token infor- mation although some token mixers can also mix channels, like attention. The second sub-block primarily consists of a two- layered MLP with non-linear activation, Z = σ(Norm(Y )W1)W2 + Y, (3) where W1 ∈ RC×rC and W2 ∈ RrC×C are learnable pa- rameters with MLP expansion ratio r; σ(·) is a non-linear activation function, such as GELU [25] or ReLU [41]. Instantiations of MetaFormer. MetaFormer describes a general architecture with which different models can be ob- tained immediately by specifying the concrete design of the token mixers. As shown in Figure 1(a), if the token mixer is specified as attention or spatial MLP, MetaFormer then becomes a Transformer or MLP-like model respectively.

上記の内容に関して下記の質問に回答下さい: (である調で記載、質問に対して該当するものが無ければ無しと記載、対応する図/表番号があれば記載)
①何についての記載か? + 要旨は何? (要旨は箇条書きで記載)
②改良点・工夫点・テクニック等の記載があれば説明下さい。
③性能が向上した記載があれば説明下さい。(具体値があれば記載、対応する図/表番号があれば各文末に記載)
④メカニズムの解明・なぜそうなるのか等の記載があれば説明下さい。
⑤具体的な処理方法の記載があれば説明下さい。(簡略化せずに全て記載、既存手法の適用であれば引用元を記載)
⑥比較の記載があれば違いを表でまとめて下さい。(対応する図/表番号があれば明記)
⑦上記⑥以外で表に出来そうな部分があれば表でまとめて下さい。(対応する図/表番号があれば記載)
⑧具体的な数値の記載を全て列挙して、表にまとめて下さい。(|数値|説明|の表へ)
⑨具体的な変数名(数式用の記号)の記載を全て列挙して、表にまとめて下さい。(|変数名|説明|の表へ)
⑩図/表があれば、各図/表は何を主張するためのものかを説明下さい。(掲載理由・注目ポイント等)

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

MetaFormerの提案とその概要についての記載である。
Transformerの一般的なアーキテクチャからトークンミキサーを抽象化したMetaFormerを提案している。
MetaFormerはトークンミキサーを特定せず、それ以外の要素はTransformerと同様である。
トークンミキサーとしてAttentionやMLPを指定することで、TransformerやMLPモデルを得ることができる。

②改良点・工夫点・テクニック等の記載

MetaFormerでは、トークンミキサー以外の全ての構造をTransformerから継承し、特にトークン情報の伝達に注目している。
トークンミキサーにAttentionやMLPを用いることで、異なるモデル（TransformerやMLP-likeモデル）を簡単に作成できる。

③性能が向上した記載

性能向上に関する記載はなし。

④メカニズムの解明・なぜそうなるのか等の記載

MetaFormerは、トークンミキサーが情報伝達に重要な役割を果たすことを示唆している。特に、AttentionやMLPがトークン情報を伝達する仕組みを抽象化し、モデルの基本構造に組み込むことが可能である。

⑤具体的な処理方法の記載

入力埋め込み (Input Embedding): 入力データ $ I $ をパッチ埋め込みなどの方法で変換し、埋め込みトークン $ X $ を生成する。
$ X = \text{InputEmb}(I) $, $ X \in \mathbb{R}^{N \times C} $, ここで $ N $ はシーケンス長、$ C $ は埋め込み次元。
トークンミキサーの使用 (Token Mixer): 正規化後のトークンをトークンミキサーに入力し、残差接続を使用して出力を得る。
$ Y = \text{TokenMixer}(\text{Norm}(X)) + X $, ここで $ \text{Norm}(·) $ は正規化、TokenMixer(·) はAttentionやMLPのモジュール。
MLPブロック: 2層のMLPにより非線形変換を行う。非線形活性化関数にはGELUやReLUを使用する。
$ Z = \sigma(\text{Norm}(Y) W_1) W_2 + Y $, ここで $ W_1 \in \mathbb{R}^{C \times rC} $、$ W_2 \in \mathbb{R}^{rC \times C} $、$ r $ は拡張比、$ \sigma(·) $ は非線形活性化関数。

⑥比較の記載

モデル	トークンミキサー	その他の要素
Transformer	Attention	残差接続、正規化、MLP
MLP-likeモデル	MLP	残差接続、正規化、MLP
MetaFormer	任意（AttentionやMLPなど）	残差接続、正規化、MLP

図1参照。

⑦上記⑥以外で表に出来そうな部分

構成要素	説明
入力埋め込み	パッチ埋め込みなどを使用して、埋め込みトークンを生成する。
トークンミキサー	トークン情報を伝達するためのAttentionやMLPを含む。
MLPブロック	2層のMLPと非線形活性化関数を用いて変換を行う。

⑧具体的な数値の記載

数値	説明
$ N $	シーケンス長。
$ C $	埋め込み次元。
$ r $	MLPの拡張比。

⑨具体的な変数名(数式用の記号)

変数名	説明
$ I $	入力データ。
$ X $	入力埋め込み後の埋め込みトークン。
$ Y $	トークンミキサー後の出力。
$ Z $	MLPブロック後の出力。
$ W_1 $	MLPの最初の層の重み行列。
$ W_2 $	MLPの2番目の層の重み行列。
$ \sigma $	非線形活性化関数。

⑩図/表の説明

図1: MetaFormerのアーキテクチャを示す図であり、トークンミキサーを変えることで異なるモデル（TransformerやMLP-likeモデル）を生成できることを視覚的に示している。

3.2. PoolFormer

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 3.2. PoolFormer From the introduction of Transformers [56], lots of works attach much importance to the attention and focus on designing various attention-based token mixer components. In contrast, these works pay little attention to the general architecture, i.e., the MetaFormer. In this work, we argue that this MetaFormer general architecture contributes mostly to the success of the re- cent Transformer and MLP-like models. To demonstrate it, we deliberately employ an embarrassingly simple operator, pooling, as the token mixer. This operator has no learnable parameters and it just makes each token averagely aggregate its nearby token features. Since this work is targeted at vision tasks, we assume the input is in channel-first data format, i.e., T ∈ RC×H×W . The pooling operator can be expressed as T ′ :,i,j = 1 K × K KX p,q=1 T:,i+p− K+1 2 ,i+q− K+1 2 − T:,i,j , (4) where K is the pooling size. Since the MetaFormer block already has a residual connection, subtraction of the input itself is added in Equation (4). The PyTorch-like code of the pooling is shown in Algorithm 1. As well known, self-attention and spatial MLP have computational complexity quadratic to the number of to- kens to mix. Even worse, spatial MLPs bring much more parameters when handling longer sequences. As a result, self-attention and spatial MLPs usually can only process hundreds of tokens. In contrast, the pooling needs a com- putational complexity linear to the sequence length without any learnable parameters. Thus, we take advantage of pool- ing by adopting a hierarchical structure similar to traditional CNNs [24, 31, 49] and recent hierarchical Transformer vari- ants [36,57]. Figure 2 shows the overall framework of Pool- Former. Specifically, PoolFormer has 4 stages with H 4 × W 4 , H 8 × W 8 , H 16 × W 16 , and H 32 × W 32 tokens respectively, where H and W represent the width and height of the input image. There are two groups of embedding size: 1) small-sized models with embedding dimensions of 64, 128, 320, and 512 responding to the four stages; 2) medium-sized models with embedding dimensions 96, 192, 384, and 768. As- suming there are L PoolFormer blocks in total, stages 1, 2, 3, and 4 will contain L/6, L/6, L/2, and L/6 PoolFormer blocks respectively. The MLP expansion ratio is set as 4. According to the above simple model scaling rule, we ob- tain 5 different model sizes of PoolFormer and their hyper- parameters are shown in Table 1.

Algorithm 1 Pooling for PoolFormer, PyTorch-like Code
import torch.nn as nn
class Pooling(nn.Module):
def init(self, pool_size=3):
super().init()
self.pool = nn.AvgPool2d(
pool_size, stride=1,
padding=pool_size//2,
count_include_pad=False,
)
def forward(self, x):
"""
[B, C, H, W] = x.shape
Subtraction of the input itself is added
since the block already has a
residual connection.
"""
return self.pool(x) - x

Figure 2. (a) The overall framework of PoolFormer. Similar to [24, 36, 57], PoolFormer adopts hierarchical architecture with 4 stages.
For a model with L PoolFormer blocks, stage [1, 2, 3, 4] have [L/6, L/6, L/2, L/6] blocks, respectively. The feature dimension Di of stage i
is shown in the figure. (b) The architecture of PoolFormer block. Compared with Transformer block, it replaces attention with extremely
simple non-parametric operator, pooling, to conduct only basic token mixing.

上記の内容に関して下記の質問に回答下さい: (である調で記載、質問に対して該当するものが無ければ無しと記載、対応する図/表番号があれば記載)
①何についての記載か? + 要旨は何? (要旨は箇条書きで記載)
②改良点・工夫点・テクニック等の記載があれば説明下さい。
③性能が向上した記載があれば説明下さい。(具体値があれば記載、対応する図/表番号があれば各文末に記載)
④メカニズムの解明・なぜそうなるのか等の記載があれば説明下さい。
⑤具体的な処理方法の記載があれば説明下さい。(簡略化せずに全て記載、既存手法の適用であれば引用元を記載)

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

PoolFormerというトークンミキサーにプーリングを使用する新しいアーキテクチャについての記載である。
AttentionやMLPの代わりに、学習可能なパラメータを持たない単純なプーリング演算子を使用することで、MetaFormerアーキテクチャの有効性を示している。
プーリングは計算複雑性が低く、自己注意やMLPと比較して長いシーケンスでも効率的に処理できる。
PoolFormerは階層構造を持ち、複数のステージを通じてトークン情報を集約する。

②改良点・工夫点・テクニック等の記載

AttentionやMLPの代わりに単純なプーリング演算子をトークンミキサーとして採用している。プーリングは学習可能なパラメータを持たないため、計算資源を節約できる。
プーリングの計算複雑性はシーケンス長に対して線形であり、自己注意やMLPに比べて効率的である。
CNNやTransformerの階層型構造に類似したアーキテクチャを採用しており、4つのステージを通じて情報を集約している。

③性能が向上した記載

プーリングは自己注意やMLPと比較して、パラメータを持たず、計算コストが低いため、より長いシーケンスを効率的に処理できることが強調されている。ただし、具体的な性能向上の数値は記載されていない。

④メカニズムの解明・なぜそうなるのか等の記載

プーリング演算子は、各トークンが周囲のトークンの特徴を平均的に集約することで機能する。これにより、自己注意やMLPのように複雑な操作を行わずに、情報の集約が可能となる。
プーリングは学習可能なパラメータを持たないため、モデルが軽量でありながらも、トークン間の情報伝達が可能である。

⑤具体的な処理方法の記載

プーリング演算の実装: プーリングは入力テンソルから周辺のトークンの特徴を集約し、それを元のトークンから差し引く操作で実装される。PyTorchライクなコード例が示されている。

import torch.nn as nn
class Pooling(nn.Module):
    def __init__(self, pool_size=3):
        super().__init__()
        self.pool = nn.AvgPool2d(
            pool_size, stride=1,
            padding=pool_size//2,
            count_include_pad=False,
        )
    def forward(self, x):
        return self.pool(x) - x

計算式: プーリング演算は次のように表現される。
$ T'{:,i,j} = \frac{1}{K \times K} \sum{p,q=1}^{K} T_{:,i+p-\frac{K+1}{2},j+q-\frac{K+1}{2}} - T_{:,i,j} $
ここで $ K $ はプーリングサイズを表し、入力自体を差し引くことで残差接続を考慮している。
階層型アーキテクチャ: PoolFormerは4つのステージを持ち、各ステージでトークン数を減らしながら情報を集約していく。ステージ1〜4のトークン数はそれぞれ $ H/4 \times W/4 $, $ H/8 \times W/8 $, $ H/16 \times W/16 $, $ H/32 \times W/32 $ である。
また、各ステージの埋め込みサイズは、モデルのサイズに応じて小型モデル（64, 128, 320, 512）と中型モデル（96, 192, 384, 768）に分かれる。

▼質問(人間)
続けて下記の質問に追加で回答下さい:
⑥比較の記載があれば違いを表でまとめて下さい。(対応する図/表番号があれば明記)
⑦上記⑥以外で表に出来そうな部分があれば表でまとめて下さい。(対応する図/表番号があれば記載)
⑧具体的な数値の記載を全て列挙して、表にまとめて下さい。(|数値|説明|の表へ)
⑨具体的な変数名(数式用の記号)の記載を全て列挙して、表にまとめて下さい。(|変数名|説明|の表へ)
⑩図/表があれば、各図/表は何を主張するためのものかを説明下さい。(掲載理由・注目ポイント等)

▼生成AIの回答(ChatGPT-4o)
⑥比較の記載

モデル	トークンミキサー	計算複雑性	学習可能なパラメータ数	処理できるトークン数
Transformer	自己注意 (Attention)	シーケンス長に対して二次関数的	高い	数百
MLP	空間MLP (Spatial MLP)	シーケンス長に対して二次関数的	非常に高い	数百
PoolFormer	プーリング (Pooling)	シーケンス長に対して線形	無し	より長いシーケンス
図2(b)参照

⑦上記⑥以外で表に出来そうな部分

ステージ番号	埋め込みサイズ（小型モデル）	埋め込みサイズ（中型モデル）	トークンサイズ
1	64	96	$ H/4 \times W/4 $
2	128	192	$ H/8 \times W/8 $
3	320	384	$ H/16 \times W/16 $
4	512	768	$ H/32 \times W/32 $

⑧具体的な数値

数値	説明
64	小型モデルのステージ1の埋め込みサイズ
128	小型モデルのステージ2の埋め込みサイズ
320	小型モデルのステージ3の埋め込みサイズ
512	小型モデルのステージ4の埋め込みサイズ
96	中型モデルのステージ1の埋め込みサイズ
192	中型モデルのステージ2の埋め込みサイズ
384	中型モデルのステージ3の埋め込みサイズ
768	中型モデルのステージ4の埋め込みサイズ
4	MLPの拡張比
$ L/6 $, $ L/2 $	各ステージに含まれるPoolFormerブロック数
3	プーリングサイズ

⑨具体的な変数名

変数名	説明
$ T $	入力テンソル（チャンネル-最初のデータフォーマット）
$ T'_{:,i,j} $	プーリング後のトークン
$ K $	プーリングサイズ
$ p, q $	プーリング内での位置インデックス
$ L $	PoolFormerブロックの総数
$ H, W $	入力画像の高さと幅
$ Di $	各ステージの特徴次元
$ x $	入力テンソル（PyTorchのコード例）

⑩図/表の説明

図2(a): PoolFormerの全体的なフレームワークを示しており、4段階の階層的構造を持つモデルであることを示す。階層ごとにトークン数が減少し、特徴次元が増加することで、情報を集約している。
図2(b): PoolFormerブロックの構造を示しており、Transformerブロックと比較してAttentionの代わりにプーリングを使用している点を強調している。

4. Experiments

4.1. Image classification

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 4. Experiments 4.1. Image classification Setup. ImageNet-1K [14] is one of the most widely used datasets in computer vision. It contains about 1.3M train- ing images and 50K validation images, covering common 1K classes. Our training scheme mainly follows [53] and [54]. Specifically, MixUp [65], CutMix [64], CutOut [66] and RandAugment [11] are used for data augmentation. The models are trained for 300 epochs using AdamW opti- mizer [29,37] with weight decay 0.05 and peak learning rate lr = 1e−3 · batch size/1024 (batch size 4096 and learning rate 4e−3 are used in this paper). The number of warmup epochs is 5 and cosine schedule is used to decay the learn- ing rate. Label Smoothing [50] is set as 0.1. Dropout is disabled but stochastic depth [27] and LayerScale [54] are used to help train deep models. We modified Layer Nor- malization [1] to compute the mean and variance along to- ken and channel dimensions compared to only channel di- mension in vanilla Layer Normalization. Modified Layer Normalization (MLN) can be implemented for channel-first data format with GroupNorm API in PyTorch by specifying the group number as 1. MLN is preferred by PoolFormer as shown in Section 4.4. See the appendix for more details on hyper-parameters. Our implementation is based on the Timm codebase [58] and the experiments are run on TPUs. Results. Table 2 shows the performance of PoolFormers on ImageNet classification. Qualitative results are shown in the appendix. Surprisingly, despite the simple pooling to- ken mixer, PoolFormers can still achieve highly competitive performance compared with CNNs and other MetaFormer- like models. For example, PoolFormer-S24 reaches the top-1 accuracy of more than 80 while only requiring 21M parameters and 3.4G MACs. Comparatively, the well- established ViT baseline DeiT-S [53], attains slightly worse accuracy of 79.8 and requires 35% more MACs (4.6G). To obtain similar accuracy, MLP-like model ResMLP-S24 [52] needs 43% more parameters (30M) as well as 76% more computation (6.0G) while only 79.4 accuracy is at- tained. Even compared with more improved ViT and MLP- like variants [35, 57], PoolFormer still shows better per- formance. Specifically, the pyramid Transformer PVT- Medium obtains 81.2 top-1 accuracy with 44M parameters and 6.7G MACs while PoolFormer-S36 reaches 81.4 with 30% fewer parameters (31M) and 25% fewer MACs (5.0G) than those of PVT-Medium. Besides, compared with RSB-ResNet (“ResNet Strikes Back”) [59] where ResNet [24] is trained with improved training procedure for the same 300 epochs, PoolFormer still performs better. With ∼ 22M parameters/3.7G MACs, RSB-ResNet-34 [59] gets 75.5 accuracy while PoolFormer- S24 can obtain 80.3. Since the local spatial modeling ability of the pooling layer is much worse than the neural convolu- tion layer, the competitive performance of PoolFormer can only be attributed to its general architecture MetaFormer. With the pooling operator, each token evenly aggregates the features from its nearby tokens. Thus it is an extremely basic token mixing operation. However, the experiment re- sults show that even with this embarrassingly simple token mixer, MetaFormer still obtains highly competitive perfor- mance. Figure 3 clearly shows that PoolFormer surpasses other models with fewer MACs and parameters. This find- ing conveys that the general architecture MetaFormer is ac- tually what we need when designing vision models. By adopting MetaFormer, it is guaranteed that the derived mod- els would have the potential to achieve reasonable perfor- mance.

上記の内容に関して下記の質問に回答下さい: (である調で記載、質問に対して該当するものが無ければ無しと記載、対応する図/表番号があれば記載)
①何についての記載か? + 要旨は何? (要旨は箇条書きで記載)
②改良点・工夫点・テクニック等の記載があれば説明下さい。
③性能が向上した記載があれば説明下さい。(具体値があれば記載、対応する図/表番号があれば各文末に記載)
④メカニズムの解明・なぜそうなるのか等の記載があれば説明下さい。
⑤具体的な処理方法の記載があれば説明下さい。(簡略化せずに全て記載、既存手法の適用であれば引用元を記載)

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

何についての記載か: ImageNet-1Kデータセットを使用した画像分類の実験に関する記載である。
要旨:
- PoolFormerは、単純なプーリングトークンミキサーを使用しながらも、競争力のあるパフォーマンスを達成している。
- 既存のCNNやMetaFormerベースのモデルと比較して、パラメータ数や計算量が少ないにもかかわらず、高い精度を示している。
- PoolFormerは、特にDeiT-SやResMLP-S24と比較して、少ない計算量とパラメータで同等以上の精度を達成している。
- 実験は、Timmコードベースで実行され、TPUを使用してトレーニングされている。

②改良点・工夫点・テクニック等の記載

データ拡張: MixUp、CutMix、CutOut、RandAugmentなどのテクニックが使用されている。
オプティマイザー: AdamWオプティマイザーを使用し、ウェイトデケイは0.05、学習率のピーク値はバッチサイズに基づいて計算されている。
学習スケジュール: 5エポックのウォームアップ期間を持ち、学習率のコサインスケジュールを使用している。
正則化: Label Smoothing（0.1）、stochastic depth、LayerScaleを使用して深層モデルのトレーニングを補助している。
Layer Normalizationの修正: トークンとチャンネル次元に沿って平均と分散を計算するように修正されている（PyTorchのGroupNorm APIを使用）。

③性能が向上した記載

PoolFormer-S24は21Mのパラメータと3.4GのMACsで80%以上のトップ1精度を達成している。これに対して、DeiT-Sは79.8の精度で35%多いMACs（4.6G）を使用している【図3】。
ResMLP-S24は、43%多いパラメータ（30M）と76%多い計算量（6.0G）で79.4の精度しか達成できていない【表2】。
PVT-Mediumは81.2のトップ1精度を44Mパラメータと6.7G MACsで達成しているが、PoolFormer-S36はそれよりも30%少ないパラメータ（31M）と25%少ないMACs（5.0G）で81.4の精度を達成している【表2】。
RSB-ResNet-34は22Mパラメータと3.7GのMACsで75.5の精度しか達成できていないが、PoolFormer-S24は同様の計算量で80.3の精度を達成している【表2】。

④メカニズムの解明・なぜそうなるのか

プーリング層はトークンが周辺トークンから平均的に特徴を集約する単純な操作であるが、MetaFormerという一般的なアーキテクチャがその競争力のあるパフォーマンスに大きく寄与している。
プーリング自体は基本的なトークンミキサーであり、その性能はアーキテクチャの汎用性に依存している。

⑤具体的な処理方法

データ拡張: MixUp、CutMix、CutOut、RandAugmentを使用する。
オプティマイザー: AdamWオプティマイザーを使用し、学習率は $ lr = 1e^{-3} \cdot \text{batch size}/1024 $ で計算される。バッチサイズは4096、学習率は4e−3である。
学習スケジュール: 学習率のコサインスケジュールを使用し、5エポックのウォームアップ期間を持つ。
正則化: Label Smoothingは0.1に設定され、Dropoutは無効化されているが、stochastic depthとLayerScaleが使用されている。
Layer Normalizationの修正: トークンとチャンネル次元に沿って平均と分散を計算するために、PyTorchのGroupNorm APIを使用し、グループ数を1に設定して実装されている。

▼質問(人間)
続けて下記の質問に追加で回答下さい:
⑥比較の記載があれば違いを表でまとめて下さい。(対応する図/表番号があれば明記)
⑦上記⑥以外で表に出来そうな部分があれば表でまとめて下さい。(対応する図/表番号があれば記載)
⑧具体的な数値の記載を全て列挙して、表にまとめて下さい。(|数値|説明|の表へ)
⑨具体的な変数名(数式用の記号)の記載を全て列挙して、表にまとめて下さい。(|変数名|説明|の表へ)
⑩図/表があれば、各図/表は何を主張するためのものかを説明下さい。(掲載理由・注目ポイント等)

▼生成AIの回答(ChatGPT-4o)
⑥比較の記載があれば違いを表でまとめて下さい。(対応する図/表番号があれば明記)

モデル	パラメータ数 (M)	MACs (G)	トップ1精度 (%)	コメント	図/表番号
PoolFormer-S24	21M	3.4G	80.3	単純なプーリングトークンミキサーを使用	表2, 図3
DeiT-S	22M	4.6G	79.8	ViTベースのモデル、計算量が35%多い	表2, 図3
ResMLP-S24	30M	6.0G	79.4	MLPベース、パラメータと計算量がそれぞれ43%と76%多い	表2, 図3
PVT-Medium	44M	6.7G	81.2	改良されたViT変種、PoolFormerに比べて30%多いパラメータ	表2, 図3
RSB-ResNet-34	22M	3.7G	75.5	改良されたResNet、精度が劣る	表2

⑦上記⑥以外で表に出来そうな部分があれば表でまとめて下さい。(対応する図/表番号があれば記載)

ハイパーパラメータ	設定値	説明
バッチサイズ	4096	学習率の計算に使用される
学習率	4e-3	AdamWオプティマイザーのピーク学習率
エポック数	300	トレーニング期間
ウォームアップエポック数	5	学習率のウォームアップ期間
Weight Decay	0.05	AdamWの正則化パラメータ
Label Smoothing	0.1	ラベルスムージングの値
データ拡張	MixUp, CutMix, CutOut, RandAugment	データ拡張手法

⑧具体的な数値の記載を全て列挙して、表にまとめて下さい。

数値	説明
1.3M	ImageNet-1Kデータセットのトレーニング画像数
50K	ImageNet-1Kデータセットの検証画像数
1e-3	AdamWオプティマイザーの基本学習率
4096	バッチサイズ
4e-3	本実験でのピーク学習率
300	エポック数
5	ウォームアップエポック数
0.05	AdamWのウェイトデケイ
0.1	Label Smoothingの値
21M	PoolFormer-S24のパラメータ数
3.4G	PoolFormer-S24のMACs
80.3	PoolFormer-S24のトップ1精度

⑨具体的な変数名(数式用の記号)の記載を全て列挙して、表にまとめて下さい。

変数名	説明
lr	学習率 (learning rate)
MACs	Multiply-Accumulate Operations, 計算量の指標
M	モデルのパラメータ数（百万単位）
G	計算量（Giga MACs）
T	トークン表現 (チャンネル-高さ-幅)

⑩図/表があれば、各図/表は何を主張するためのものかを説明下さい。(掲載理由・注目ポイント等)

表2: PoolFormerと他のモデル（DeiT-S、ResMLP、PVTなど）の性能比較を示しており、PoolFormerがパラメータ数や計算量において有利であることを示している。
図3: パラメータ数とMACsに対する精度を視覚的に比較し、PoolFormerが他のモデルに比べて少ない計算量で高い精度を達成していることを強調している。

4.2. Object detection and instance segmentation

4.3. Semantic segmentation

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 4.2. Object detection and instance segmentation Setup. We evaluate PoolFormer on the challenging COCO benchmark [34] that includes 118K training images (train2017) and 5K validation images (val2017). The models are trained on training set and the performance on validation set is reported. PoolFormer is employed as the backbone for two standard detectors, i.e., RetinaNet [33] and Mask R-CNN [23]. ImageNet pre-trained weights are utilized to initialize the backbones and Xavier [20] to initial- ize the added layers. AdamW [29,37] is adopted for training with an initial learning rate of 1×10−4 and batch size of 16. Following [23, 33], we employ 1× training schedule, i.e., training the detection models for 12 epochs. The training images are resized into shorter side of 800 pixels and longer side of no more than 1,333 pixels. For testing, the shorter side of the images is also resized to 800 pixels. The imple- mentation is based on the mmdetection [4] codebase and the experiments are run on 8 NVIDIA A100 GPUs. Results. Equipped with RetinaNet for object detection, PoolFormer-based models consistently outperform their comparable ResNet counterparts as shown in Table 3. For instance, PoolFormer-S12 achieves 36.2 AP, largely sur- passing that of ResNet-18 (31.8 AP). Similar results are observed for those models based on Mask R-CNN on ob- ject detection and instance segmentation. For example, PoolFormer-S12 largely surpasses ResNet-18 (bounding box AP 37.3 vs. 34.0, and mask AP 34.6 vs. 31.2). Over- all, for COCO object detection and instance segmentation, PoolForemrs achieve competitive performance, consistently outperforming those counterparts of ResNet. 4.3. Semantic segmentation Setup. ADE20K [67], a challenging scene parsing bench- mark, is selected to evaluate the models for semantic seg- mentation. The dataset includes 20K and 2K images in the training and validation set, respectively, covering 150 fine- grained semantic categories. PoolFormers are evaluated as backbones equipped with Semantic FPN [30]. ImageNet- 1K trained checkpoints are used to initialize the backbones while Xavier [20] is utilized to initialize other newly added layers. Common practices [5, 30] train models for 80K it- erations with a batch size of 16. To speed up training, we double the batch size to 32 and decrease the iteration num- ber to 40K. The AdamW [29,37] is employed with an initial learning rate of 2 × 10−4 that will decay in the polynomial decay schedule with a power of 0.9. Images are resized and cropped into 512 × 512 for training and are resized to shorter side of 512 pixels for testing. Our implementation is based on the mmsegmentation [10] codebase and the experiments are conducted on 8 NVIDIA A100 GPUs. Results. Table 4 shows the ADE20K semantic segmenta- tion performance of different backbones using FPN [30]. PoolFormer-based models consistently outperform the models with backbones of CNN-based ResNet [24] and ResNeXt [62] as well as Transformer-based PVT. For in- stance, PoolFormer-12 achieves mIoU of 37.1, 4.3 and 1.5 better than ResNet-18 and PVT-Tiny, respectively. These results demonstrate that our PoorFormer which serves as backbone can attain competitive performance on semantic segmentation although it only utilizes pooling for basically communicating information among tokens. This further indicates the great potential of MetaFormer and sup- ports our claim that MetaFormer is actually what we need.

上記の内容に関して下記の質問に回答下さい: (である調で記載、質問に対して該当するものが無ければ無しと記載、対応する図/表番号があれば記載)
①何についての記載か? + 要旨は何? (要旨は箇条書きで記載)
②改良点・工夫点・テクニック等の記載があれば説明下さい。
③性能が向上した記載があれば説明下さい。(具体値があれば記載、対応する図/表番号があれば各文末に記載)
④メカニズムの解明・なぜそうなるのか等の記載があれば説明下さい。
⑤具体的な処理方法の記載があれば説明下さい。(簡略化せずに全て記載、既存手法の適用であれば引用元を記載)

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

何についての記載か?
PoolFormerをバックボーンとして使用した際の物体検出、インスタンスセグメンテーション、意味セグメンテーションの性能評価についての記載である。
要旨
- COCOデータセット上での物体検出とインスタンスセグメンテーションにおいて、PoolFormerはRetinaNetおよびMask R-CNNにおいてResNetを上回る性能を示した。
- ADE20Kデータセットを用いた意味セグメンテーションにおいても、PoolFormerはCNNベースのResNetやTransformerベースのPVTを上回る結果を達成した。
- PoolFormerの性能は、トークン間の基本的な情報伝達にプーリングのみを使用しているにもかかわらず、MetaFormerアーキテクチャの優位性を示している。

②改良点・工夫点・テクニック等の記載

PoolFormerは、物体検出およびインスタンスセグメンテーションのタスクでResNetと比較して優れた結果を示している。
COCOデータセットでは、ImageNetで事前学習した重みをバックボーンに使用し、新規追加層はXavier初期化を適用している。
意味セグメンテーションタスクでは、トレーニングの高速化のためにバッチサイズを32に倍増し、イテレーション数を40Kに削減する工夫を施している。
さらに、トークン間の基本的な情報伝達をプーリングのみに依存しながらも、PoolFormerはMetaFormerアーキテクチャの効果を発揮している。

③性能が向上した記載

物体検出: COCOデータセットにおいて、RetinaNetを使用したPoolFormer-S12は、ResNet-18と比較してAPスコアが36.2 vs 31.8と大幅に向上している (表3)。
インスタンスセグメンテーション: Mask R-CNNを使用したPoolFormer-S12は、ResNet-18と比較してバウンディングボックスAPが37.3 vs 34.0、マスクAPが34.6 vs 31.2とそれぞれ向上している (表3)。
意味セグメンテーション: ADE20Kデータセットにおいて、PoolFormer-S12は、mIoUが37.1であり、ResNet-18より4.3ポイント、PVT-Tinyより1.5ポイント高い結果を達成している (表4)。

④メカニズムの解明・なぜそうなるのか等の記載

PoolFormerの優れた性能は、MetaFormerアーキテクチャの汎用性に起因していると考えられる。具体的には、トークン間の情報伝達を極めてシンプルなプーリング操作に依存しているにもかかわらず、MetaFormerアーキテクチャがモデルに適切な機能を持たせ、視覚タスクで高い性能を発揮している。これは、従来のCNNやTransformerベースのモデルにおける複雑なトークンミキシング操作が必ずしも不可欠でないことを示唆している。

⑤具体的な処理方法の記載

COCOデータセット (物体検出・インスタンスセグメンテーション)
1. COCOデータセットのtrain2017とval2017セットを使用してトレーニングおよび評価を行う。
2. PoolFormerをバックボーンとしてRetinaNetおよびMask R-CNNに組み込み、ImageNetで事前学習した重みをバックボーンに適用。新規追加層はXavier初期化を使用。
3. AdamWオプティマイザを使用し、初期学習率は1×10^-4、バッチサイズは16。トレーニングスケジュールは1× (12エポック)。
4. トレーニング時には、画像の短辺を800ピクセル、長辺を最大1,333ピクセルにリサイズ。テスト時も同様に短辺を800ピクセルにリサイズ。
5. 実験はmmdetectionフレームワークを使用し、8台のNVIDIA A100 GPUで実施。
ADE20Kデータセット (意味セグメンテーション)
1. ADE20Kデータセットを使用して、20Kのトレーニングセットと2Kの検証セットに基づいて評価。
2. PoolFormerをバックボーンとしてSemantic FPNに組み込み、ImageNet-1Kで事前学習した重みを使用し、他の新規追加層はXavier初期化を使用。
3. トレーニングはAdamWオプティマイザを使用し、初期学習率は2×10^-4。バッチサイズは32で、40Kイテレーション実行。
4. トレーニング時には画像を512×512にリサイズおよびクロップし、テスト時には短辺を512ピクセルにリサイズ。
5. 実験はmmsegmentationフレームワークを使用し、8台のNVIDIA A100 GPUで実施。

▼質問(人間)
続けて下記の質問に追加で回答下さい:
⑥比較の記載があれば違いを表でまとめて下さい。(対応する図/表番号があれば明記)
⑦上記⑥以外で表に出来そうな部分があれば表でまとめて下さい。(対応する図/表番号があれば記載)
⑧具体的な数値の記載を全て列挙して、表にまとめて下さい。(|数値|説明|の表へ)
⑨具体的な変数名(数式用の記号)の記載を全て列挙して、表にまとめて下さい。(|変数名|説明|の表へ)
⑩図/表があれば、各図/表は何を主張するためのものかを説明下さい。(掲載理由・注目ポイント等)

▼生成AIの回答(ChatGPT-4o)
⑥比較の記載があれば違いを表でまとめて下さい。

モデル	バックボーン	AP (RetinaNet)	バウンディングボックス AP (Mask R-CNN)	マスク AP (Mask R-CNN)
ResNet-18	ResNet	31.8	34.0	31.2
PoolFormer-S12	PoolFormer	36.2	37.3	34.6

(対応する図/表番号: 表3)

モデル	バックボーン	mIoU (ADE20K, Semantic FPN)
ResNet-18	ResNet	32.8
PoolFormer-S12	PoolFormer	37.1
PVT-Tiny	Transformer	35.6

(対応する図/表番号: 表4)

⑦上記⑥以外で表に出来そうな部分があれば表でまとめて下さい。

物体検出およびインスタンスセグメンテーションのトレーニング設定

設定項目	内容
データセット	COCO (train2017: 118K画像, val2017: 5K画像)
バックボーン初期化	ImageNet事前学習重み
追加層初期化	Xavier
オプティマイザ	AdamW
初期学習率	1×10^-4
バッチサイズ	16
トレーニングスケジュール	1× (12エポック)
トレーニング画像サイズ	短辺800ピクセル, 長辺最大1,333ピクセル
テスト画像サイズ	短辺800ピクセル
実験環境	8台のNVIDIA A100 GPUs
コードベース	mmdetection

意味セグメンテーションのトレーニング設定

設定項目	内容
データセット	ADE20K (トレーニング: 20K画像, 検証: 2K画像)
バックボーン初期化	ImageNet-1K事前学習重み
追加層初期化	Xavier
オプティマイザ	AdamW
初期学習率	2×10^-4
バッチサイズ	32
イテレーション数	40K
トレーニング画像サイズ	512×512
テスト画像サイズ	短辺512ピクセル
実験環境	8台のNVIDIA A100 GPUs
コードベース	mmsegmentation

⑧具体的な数値の記載を全て列挙して、表にまとめて下さい。

数値	説明
118K	COCOデータセットのトレーニング画像数 (train2017)
5K	COCOデータセットの検証画像数 (val2017)
1×10^-4	物体検出およびインスタンスセグメンテーションの初期学習率
12エポック	物体検出およびインスタンスセグメンテーションのトレーニングスケジュール
800ピクセル	トレーニングおよびテスト時の短辺の画像サイズ (COCO)
1,333ピクセル	トレーニング時の長辺の最大画像サイズ (COCO)
37.1	PoolFormer-S12のmIoU (ADE20K, Semantic FPN)
32.8	ResNet-18のmIoU (ADE20K, Semantic FPN)
35.6	PVT-TinyのmIoU (ADE20K, Semantic FPN)
37.3	PoolFormer-S12のバウンディングボックスAP (Mask R-CNN)
34.0	ResNet-18のバウンディングボックスAP (Mask R-CNN)
34.6	PoolFormer-S12のマスクAP (Mask R-CNN)
31.2	ResNet-18のマスクAP (Mask R-CNN)
36.2	PoolFormer-S12のAP (RetinaNet)
31.8	ResNet-18のAP (RetinaNet)

⑨具体的な変数名(数式用の記号)の記載を全て列挙して、表にまとめて下さい。

変数名	説明
AP	Average Precision, 物体検出の評価指標
mIoU	Mean Intersection over Union, 意味セグメンテーションの評価指標
AdamW	トレーニングに使用するオプティマイザの名称
Xavier	重みの初期化手法
1×	トレーニングスケジュール (12エポック) を示す記号
800ピクセル	トレーニングおよびテスト時の短辺のリサイズサイズ

⑩図/表があれば、各図/表は何を主張するためのものかを説明下さい。

表3 (COCOでの物体検出・インスタンスセグメンテーションの比較)
表3は、PoolFormerとResNetの比較結果を示しており、PoolFormerがResNetよりも優れたAPスコアを達成していることを主張している。特に、RetinaNetとMask R-CNNの両方のタスクで、PoolFormerがResNet-18を大幅に上回る性能を発揮していることが注目ポイントである。
表4 (ADE20Kでの意味セグメンテーションの比較)
表4は、意味セグメンテーションにおいて、PoolFormerがResNetおよびPVT-Tinyを上回る性能を示していることを主張している。mIoUの差異が明確に示されており、PoolFormerのMetaFormerアーキテクチャの有効性を裏付ける結果となっている。

4.4. Ablation studies

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 4.4. Ablation studies The experiments of ablation studies are conducted on ImageNet-1K [14]. Table 5 reports the ablation study of PoolFormer. We discuss the ablation below according to the following aspects. Token mixers. Compared with Transformers, the main change made by PoolFormer is using simple pooling as a token mixer. We first conduct ablation for this oper- ator by directly replacing pooling with identity mapping. Surprisingly, MetaFormer with identity mapping can still achieve 74.3% top-1 accuracy, supporting the claim that MetaFormer is actually what we need to guarantee reason- able performance. Then the pooling is replaced with global random ma- trix WR ∈ RN×N for each block. The matrix is initial- ized with random values from a uniform distribution on the interval [0, 1), and then Softmax is utilized to normalize each row. After random initialization, the matrix parame- ters are frozen and it conducts token mixing by X′ = WRX where X ∈ RN×C are the input token features with the to- ken length of N and channel dimension of C. The token mixer of random matrix introduces extra 21M frozen pa- rameters for the S12 model since the token lengths are ex- tremely large at the first stage. Even with such random to- ken mixing method, the model can still achieve reasonable performance of 75.8% accuracy, 1.5% higher than that of identity mapping. It shows that MetaFormer can still work well even with random token mixing, not to say with other well-designed token mixers. Further, pooling is replaced with Depthwise Convolu- tion [9, 38] that has learnable parameters for spatial model- ing. Not surprisingly, the derived model still achieve highly competitive performance with top-1 accuracy of 78.1%, 0.9% higher than PoolFormer-S12 due to its better local spatial modeling ability. Until now, we have specified mul- tiple token mixers in Metaformer, and all resulted mod- els keep promising results, well supporting the claim that MetaFormer is the key to guaranteeing models’ competi- tiveness. Due to the simplicity of pooling, it is mainly uti- lized as a tool to demonstrate MetaFormer. We test the effects of pooling size on PoolFormer. We observe similar performance when pooling sizes are 3, 5, and 7. However, when the pooling size increases to 9, there is an obvious performance drop of 0.5%. Thus, we adopt the default pooing size of 3 for PoolFormer. Normalization. We modify Layer Normalization [1] into Modified Layer Normalization (MLN) that computes the mean and variance along token and channel dimensions compared with only channel dimension in vanilla Layer Normalization. The shape of learnable affine parameters of MLN keeps the same as that of Layer Normalization, i.e., RC. MLN can be implemented with GroupNorm API in Py- Torch by setting the group number as 1. See the appendix for details. We find PoolFormer prefers MLN with 0.7% or 0.8% higher than Layer Normalization or Batch Normal- ization. Thus, MLN is set as default for PoolFormer. When removing normalization, the model can not be trained to converge well, and its performance dramatically drops to only 46.1%. Activation. We change GELU [25] to ReLU [41] or SiLU [18]. When ReLU is adopted for activation, an obvious per- formance drop of 0.8% is observed. For SiLU, its perfor- mance is almost the same as that of GELU. Thus, we still adopt GELU as default activation. Other components. Besides token mixer and normaliza- tion discussed above, residual connection [24] and chan- nel MLP [46, 47] are two other important components in MetaFormer. Without residual connection or channel MLP, the model cannot converge and only achieves the accuracy of 0.1%/5.7%, proving the indispensability of these parts. Hybrid stages. Among token mixers based on pooling, at- tention, and spatial MLP, the pooling-based one can han- dle much longer input sequences while attention and spa- tial MLP are good at capturing global information. There- fore, it is intuitive to stack MetaFormers with pooling in the bottom stages to handle long sequences and use attention or spatial MLP-based mixer in the top stages, considering the sequences have been largely shortened. Thus, we re- place the token mixer pooling with attention or spatial FC 1 in the top one or two stages in PoolFormer. From Ta- ble 5, the hybrid models perform quite well. The variant with pooling in the bottom two stages and attention in the top two stages delivers highly competitive performance. It achieves 81.0% accuracy with only 16.5M parameters and 2.5G MACs. As a comparison, ResMLP-B24 needs 7.0× parameters (116M) and 9.2× MACs (23.0G) to achieve the same accuracy. These results indicate that combining pooling with other token mixers for MetaFormer may be a promising direction to further improve the performance.

上記の内容に関して下記の質問に回答下さい: (である調で記載、質問に対して該当するものが無ければ無しと記載、対応する図/表番号があれば記載)
①何についての記載か? + 要旨は何? (要旨は箇条書きで記載)
②改良点・工夫点・テクニック等の記載があれば説明下さい。
③性能が向上した記載があれば説明下さい。(具体値があれば記載、対応する図/表番号があれば各文末に記載)
④メカニズムの解明・なぜそうなるのか等の記載があれば説明下さい。
⑤具体的な処理方法の記載があれば説明下さい。(簡略化せずに全て記載、既存手法の適用であれば引用元を記載)

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

何についての記載か: この節では、MetaFormerの性能と設計について、さまざまなコンポーネントの変更がモデル性能に与える影響を調査したアブレーションスタディについて述べている。
要旨:
- MetaFormerのトークンミキサーとしてのプール操作の重要性を検証し、単純なプーリングでも高い性能を発揮することを確認。
- トークンミキサーをプールから他の手法（アイデンティティマッピング、ランダム行列、深層畳み込み）に置き換えた場合の性能を比較。
- 正規化手法（Modified Layer NormalizationやバニラLayer Normalization）やアクティベーション関数（GELU、ReLU、SiLU）の影響を調査。
- 残差接続やチャネルMLPがモデルの収束に不可欠であることを示す。
- プーリング、アテンション、空間MLPを組み合わせたハイブリッドステージの利点を示す。

②改良点・工夫点・テクニック等の記載

トークンミキサーの検討: プール操作を他の手法（アイデンティティマッピング、ランダム行列、深層畳み込み）に置き換えた場合でも、MetaFormerが良好な性能を発揮することを確認。これにより、MetaFormerの汎用性が確認されている。
Modified Layer Normalization (MLN): バニラLayer Normalizationよりもトークンとチャネル次元の両方に沿って平均と分散を計算するMLNを使用することで、精度を0.7%〜0.8%向上させた。
ハイブリッドステージ: プール操作を下位ステージで使用し、上位ステージでアテンションや空間MLPを利用することで、長いシーケンスを処理しながらもグローバルな情報をキャプチャする性能を両立。

③性能が向上した記載

アイデンティティマッピングの導入: トークンミキサーとしてアイデンティティマッピングを使用しても、74.3%のTop-1精度を達成【表5】。
ランダム行列の導入: ランダム行列を使用した場合、75.8%の精度を達成し、アイデンティティマッピングよりも1.5%向上【表5】。
深層畳み込みの導入: 深層畳み込みを導入すると、78.1%の精度を達成し、PoolFormer-S12の精度を0.9%上回る【表5】。
MLNの導入: MLNを使用することで、バニラLayer NormalizationやBatch Normalizationよりも0.7%〜0.8%高い精度を達成【表5】。
ハイブリッドモデル: プール操作とアテンションを組み合わせたハイブリッドモデルが81.0%の精度を達成し、パラメータ数16.5M、MACs 2.5GでResMLP-B24と同じ精度を達成するが、パラメータ数とMACsはそれぞれ7倍、9倍少ない【表5】。

④メカニズムの解明・なぜそうなるのか等の記載

MetaFormerはトークンミキサーの種類に依存せず、高い性能を発揮できることが確認された。これは、アイデンティティマッピングやランダムトークンミキサーを使用しても、基本的な構造が情報のやり取りを適切に行い、優れた性能を保証するためである。
深層畳み込みはローカルな空間モデリングに優れているため、プール操作よりも高い性能を発揮する。
Modified Layer Normalizationは、トークンとチャネル次元の両方に対して平均と分散を計算するため、バニラLayer Normalizationよりも精度が高い。
残差接続やチャネルMLPが欠如すると、モデルが収束せず、正しい情報伝達が行われないため、性能が著しく低下する。

⑤具体的な処理方法の記載

トークンミキサーの変更:
- アイデンティティマッピング、ランダム行列、深層畳み込みなど、異なるトークンミキサーを導入し、それぞれの影響を評価した。ランダム行列は初期化後にSoftmaxで正規化し、その後トークンのミキシングを行う。
Modified Layer Normalization (MLN): トークンとチャネル次元の両方に対して平均と分散を計算する手法を採用し、精度を向上させる。
ハイブリッドモデル: プール操作を下位ステージで使用し、アテンションや空間MLPを上位ステージで導入することで、シーケンス長に適したモデリングを行う。

次の質問に進んでください。

▼質問(人間)
続けて下記の質問に追加で回答下さい:
⑥比較の記載があれば違いを表でまとめて下さい。(対応する図/表番号があれば明記)
⑦上記⑥以外で表に出来そうな部分があれば表でまとめて下さい。(対応する図/表番号があれば記載)
⑧具体的な数値の記載を全て列挙して、表にまとめて下さい。(|数値|説明|の表へ)
⑨具体的な変数名(数式用の記号)の記載を全て列挙して、表にまとめて下さい。(|変数名|説明|の表へ)
⑩図/表があれば、各図/表は何を主張するためのものかを説明下さい。(掲載理由・注目ポイント等)

▼生成AIの回答(ChatGPT-4o)
⑥比較の記載があれば違いを表でまとめて下さい。(対応する図/表番号があれば明記)

トークンミキサー	Top-1精度	特徴
アイデンティティマッピング	74.3%	トークンミキサーを恒等写像に変更した場合の性能【表5】
ランダム行列	75.8%	トークンミキサーをランダム行列に変更した場合の性能【表5】
深層畳み込み	78.1%	トークンミキサーを深層畳み込みに変更した場合の性能【表5】
PoolFormer-S12	77.2%	デフォルトのプール操作を使用した場合の性能【表5】
Pooling + Attention (Hybrid)	81.0%	ハイブリッドモデル。プール操作とアテンションの組み合わせ【表5】
ResMLP-B24	81.0%	ハイブリッドモデルと比較するための参照モデル【表5】

⑦上記⑥以外で表に出来そうな部分があれば表でまとめて下さい。(対応する図/表番号があれば記載)

正規化手法	Top-1精度	特徴
Modified Layer Normalization (MLN)	+0.7〜0.8%	トークンとチャネル次元の両方に沿って平均・分散を計算【表5】
バニラLayer Normalization	-	トークン次元を考慮しない標準的な正規化【表5】
Batch Normalization	-	バッチ全体の平均と分散を利用する正規化手法【表5】

⑧具体的な数値の記載を全て列挙して、表にまとめて下さい。

数値	説明
74.3%	トークンミキサーをアイデンティティマッピングにした場合のTop-1精度
75.8%	トークンミキサーをランダム行列にした場合のTop-1精度
78.1%	トークンミキサーを深層畳み込みにした場合のTop-1精度
77.2%	PoolFormer-S12のデフォルト設定でのTop-1精度
81.0%	PoolingとAttentionを組み合わせたハイブリッドモデルのTop-1精度
46.1%	正規化を削除した場合のTop-1精度
0.1%	残差接続を削除した場合のTop-1精度
5.7%	チャネルMLPを削除した場合のTop-1精度
+0.7〜0.8%	MLNを導入した場合の精度向上（Layer NormalizationやBatch Normalizationと比較）
0.5%	プールサイズを9にした際の性能低下幅
116M	ResMLP-B24のパラメータ数
23.0G	ResMLP-B24のMACs
16.5M	Pooling + Attentionモデルのパラメータ数
2.5G	Pooling + AttentionモデルのMACs

⑨具体的な変数名(数式用の記号)の記載を全て列挙して、表にまとめて下さい。

変数名	説明
$ WR \in \mathbb{R}^{N \times N} $	各ブロックのグローバルランダム行列
$ X \in \mathbb{R}^{N \times C} $	入力トークン特徴（トークン長 $ N $、チャネル次元 $ C $ ）
$ X' = WRX $	ランダム行列を用いたトークンミキシングの式
$ C $	チャネル次元
$ N $	トークン長

⑩図/表があれば、各図/表は何を主張するためのものかを説明下さい。(掲載理由・注目ポイント等)

表5: PoolFormerにおけるトークンミキサーや他のモデル要素のアブレーションスタディの結果を示している。特に、異なるトークンミキサーがモデル性能に与える影響や、正規化手法、アクティベーション関数、ハイブリッドモデルの性能比較に焦点を当てている。

5. Conclusion and future work

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 5. Conclusion and future work In this work, we abstracted the attention in Transformers as a token mixer, and the overall Transformer as a general architecture termed MetaFormer where the token mixer is not specified. Instead of focusing on specific token mixers, we point out that MetaFormer is actually what we need to guarantee achieving reasonable performance. To verify this, we deliberately specify token mixer as extremely simple pooling for MetaFormer. It is found that the derived Pool- Former model can achieve competitive performance on dif- ferent vision tasks, which well supports that “MetaFormer is actually what you need for vision”. In the future, we will further evaluate PoolFormer un- der more different learning settings, such as self-supervised learning and transfer learning. Moreover, it is interesting to see whether PoolFormer still works on NLP tasks to further support the claim “MetaFormer is actually what you need” in the NLP domain. We hope that this work can inspire more future research devoted to improving the fundamental architecture MetaFormer instead of paying too much atten- tion to the token mixer modules.

上記の内容に関して下記の質問に回答下さい: (である調で記載、質問に対して該当するものが無ければ無しと記載、対応する図/表番号があれば記載)
①何についての記載か? + 要旨は何? (要旨は箇条書きで記載)
②改良点・工夫点・テクニック等の記載があれば説明下さい。
③性能が向上した記載があれば説明下さい。(具体値があれば記載、対応する図/表番号があれば各文末に記載)
④メカニズムの解明・なぜそうなるのか等の記載があれば説明下さい。
⑤具体的な処理方法の記載があれば説明下さい。(簡略化せずに全て記載、既存手法の適用であれば引用元を記載)
⑥比較の記載があれば違いを表でまとめて下さい。(対応する図/表番号があれば明記)

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

何についての記載か: MetaFormerの提唱とその検証結果、そして今後の研究の方向性についての記載である。
要旨:
- TransformerにおけるAttentionをトークンミキサーとして抽象化し、MetaFormerという一般的なアーキテクチャとして定義。
- MetaFormer自体が合理的な性能を保証するものであり、特定のトークンミキサーに依存しないことを強調。
- MetaFormerに単純なプール操作を指定したPoolFormerモデルが競争力のある性能を達成した。
- 今後の研究方向として、自己教師付き学習や転移学習におけるPoolFormerの評価、NLPタスクへの適用を検討。
- トークンミキサーに過度に注目するのではなく、MetaFormer自体の改良が今後の重要な研究対象であると提言。

②改良点・工夫点・テクニック等の記載

MetaFormerというアーキテクチャを提唱し、そのトークンミキサーを特定のものに限定せず、非常にシンプルなプール操作でも競争力のある性能が得られることを示した。このアプローチにより、トークンミキサー自体に過度に依存することなく、基本的なアーキテクチャの重要性を再認識させる工夫が見られる。

③性能が向上した記載

本章では、具体的な性能向上に関する数値は示されていないが、PoolFormerが異なるビジョンタスクにおいて競争力のある性能を達成したことが記載されている。MetaFormerが合理的な性能を保証することが示されており、特定のトークンミキサーに頼らない点が強調されている。

④メカニズムの解明・なぜそうなるのか等の記載

MetaFormerは、特定のトークンミキサーに依存せずに合理的な性能を保証できるアーキテクチャであり、トークンミキサーそのものが必要不可欠ではないことを示している。特に、単純なプール操作を使用しても競争力のある結果が得られることから、モデルの基盤となる構造（MetaFormer）が重要であることが確認された。このことは、トークンミキサーの複雑さが直接的にモデルの性能を決定するわけではないというメカニズムを裏付けている。

⑤具体的な処理方法の記載

本章では、具体的な処理方法に関する詳細な記載はないが、今後の研究として自己教師付き学習や転移学習、NLPタスクへの適用が示唆されている。これらの設定においてPoolFormerがどのように評価されるかについては今後の課題とされている。

⑥比較の記載があれば違いを表でまとめて下さい。(対応する図/表番号があれば明記)

本章では具体的なモデルや技術間の比較は記載されていない。

A. Detailed hyper-parameters on ImageNet-

B. Training for longer epochs

C. Qualitative results

D. Comparison between Layer Normalization

E. Code in PyTorch

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) A. Detailed hyper-parameters on ImageNet- 1K PoolFormer. On ImageNet-1K classification benchmark, we utilize the hyper-parameters shown in Table 6 to train models in our paper. Based on the relation between batch size and learning rate in Table 6, we set the batch size as 4096 and learning rate as 4 × 10−3. For stochastic depth, following the original paper [27], we linearly increase the probability of dropping a layer from 0.0 for the bottom block to dr for the top block. Hybrid Models. We use the hyper-parameters for all mod- els except for the hybrid models with token mixers of pool- ing and attention. For these hybrid models, we find that they achieve much better performances by setting batch size as 1024, learning rate as 10−3, and normalization as Layer Normalization [1]. B. Training for longer epochs In our paper, PoolFormer models are trained for the de- fault 300 epochs on ImageNet-1K. For DeiT [53]/ResMLP [52], it is observed that the performance saturates after 400/800 epochs. Thus, we also conduct the experiments of training longer for PoolFormer-S12 and the results are shown in Table 7. We observe that PoolFormer-S12 ob- tains saturated performance after around 2000 epochs with a top-1 accuracy improvement of 1.8%. However, for fair comparison with other ViT/MLP-like models, we still train PoolFormers for 300 epochs by default. C. Qualitative results We use Grad-CAM [48] to visualize the results of differ- ent models trained on ImageNet-1K. We find that although ResMLP [52] also activates some irrelevant parts, all mod- els can locate the semantic objects. The activation parts of DeiT [53] and ResMLP [52] in the maps are more scattered, while those of RSB-ResNet [24, 59] and PoolFormer are more gathered. D. Comparison between Layer Normalization and Modified Layer Normalization We modify Layer Normalization [1] into Modified Layer Normalization (MNN). It computes the mean and variance along spatial and channel dimensions, compared with only channel dimension in vanilla Layer Normalization. The shape of learnable affine parameters of MLN keeps the same as that of Layer Normalization, i.e., RC. MLN can be implemented with GroupNorm API in PyTorch by setting the group number as 1. The comparison details are shown in Algorithm 2. E. Code in PyTorch We provide the PyTorch-like code in Algorithm 3 associ- ated with the modules used in the PoolFormer block. Algo- rithm 4 further shows the PoolFormer block built with these modules.

上記の内容に関して下記の質問に回答下さい: (である調で記載、質問に対して該当するものが無ければ無しと記載、対応する図/表番号があれば記載)
①何についての記載か? + 要旨は何? (要旨は箇条書きで記載)
②改良点・工夫点・テクニック等の記載があれば説明下さい。
③性能が向上した記載があれば説明下さい。(具体値があれば記載、対応する図/表番号があれば各文末に記載)
④メカニズムの解明・なぜそうなるのか等の記載があれば説明下さい。
⑤具体的な処理方法の記載があれば説明下さい。(簡略化せずに全て記載、既存手法の適用であれば引用元を記載)

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

何についての記載か: PoolFormerおよびハイブリッドモデルのImageNet-1Kにおける詳細なハイパーパラメータ設定、長いエポックでの訓練結果、Grad-CAMを用いたモデルの視覚的評価、Layer NormalizationとModified Layer Normalizationの比較、そしてPoolFormerのPyTorchコードの概要について記載されている。
要旨:
- ImageNet-1Kの分類タスクにおけるモデルのハイパーパラメータ設定を示している。
- PoolFormerのトレーニングを長期間実施し、2000エポックで性能が飽和することを確認。
- Grad-CAMを用いて異なるモデルの視覚的な結果を比較。
- Layer Normalizationを修正したModified Layer Normalization（MLN）の詳細な比較を行っている。
- PyTorchでのPoolFormerの実装コードを提示している。

②改良点・工夫点・テクニック等の記載

ハイブリッドモデル: トークンミキサーとしてプール操作とアテンションを組み合わせたハイブリッドモデルにおいて、バッチサイズを1024、学習率を10^-3に設定することで大幅な性能向上が見られた。
Modified Layer Normalization (MLN): Layer Normalizationを修正し、空間およびチャネル次元に沿った平均と分散を計算するMLNを導入。これにより、より効果的な正規化が可能となり、性能向上に寄与している。

③性能が向上した記載

長期間の訓練: PoolFormer-S12は2000エポックの訓練で性能が飽和し、トップ1精度が1.8%向上することが確認された（表7）。
ハイブリッドモデル: プール操作とアテンションの組み合わせにより、バッチサイズや学習率の調整で性能が大幅に向上する（表6）。

④メカニズムの解明・なぜそうなるのか等の記載

Modified Layer Normalization (MLN): MLNはチャネル次元のみならず空間次元にも適用されるため、より豊富な情報を取り込みつつ、精度の高い正規化を行うことが可能となる。これにより、モデルの収束性が改善され、全体的な性能が向上する。

⑤具体的な処理方法の記載

ハイパーパラメータ設定: ImageNet-1K上でモデルを訓練する際に使用する具体的なハイパーパラメータは、バッチサイズを4096、学習率を4 × 10^-3に設定している。ハイブリッドモデルでは、バッチサイズを1024、学習率を10^-3に調整し、正規化にはLayer Normalizationを使用している（表6）。
長期間訓練: PoolFormer-S12を2000エポックまで訓練し、300エポック時点のデフォルト設定と比較して精度の向上が見られる（表7）。
視覚的評価: Grad-CAMを用いて異なるモデル（ResMLP、DeiT、RSB-ResNet、PoolFormer）の視覚的なアクティベーションマップを比較し、PoolFormerがより集中したアクティベーションを示すことを確認している。

⑥比較の記載があれば違いを表でまとめて下さい。(対応する図/表番号があれば明記)

モデル	バッチサイズ	学習率	正規化	備考
PoolFormer	4096	4 × 10^-3	Modified Layer Normalization (MLN)	デフォルト設定
ハイブリッドモデル	1024	10^-3	Layer Normalization	プール操作とアテンションの組み合わせ

対応する図/表: 表6

⑦上記⑥以外で表に出来そうな部分があれば表でまとめて下さい。(対応する図/表番号があれば記載)

訓練エポック数	PoolFormer-S12のトップ1精度	備考
300	デフォルト	デフォルト設定での訓練
2000	1.8%向上	長期訓練後の性能向上

対応する図/表: 表7

⑧具体的な数値の記載を全て列挙して、表にまとめて下さい。

数値	説明
4096	PoolFormerのデフォルトバッチサイズ
4 × 10^-3	PoolFormerのデフォルト学習率
1024	ハイブリッドモデルのバッチサイズ
10^-3	ハイブリッドモデルの学習率
2000	PoolFormer-S12の訓練エポック数
1.8%	2000エポックでのトップ1精度向上

⑨具体的な変数名(数式用の記号)の記載を全て列挙して、表にまとめて下さい。

変数名	説明
dr	上位ブロックにおけるドロップ率
N	トークン長
C	チャネル次元

⑩図/表があれば、各図/表は何を主張するためのものかを説明下さい。

表6: ImageNet-1Kでの訓練に使用されたハイパーパラメータ設定を示している。バッチサイズと学習率の関係を明確にしており、モデルごとに異なる設定を反映している。
表7: PoolFormer-S12を長期間訓練した結果の性能を示しており、2000エポックでトップ1精度が1.8%向上することを示している。

①～⑤までの質問に対して、①～⑩までの質問に勝手に回答してしまう。

▼質問(人間)
上記の「D. Comparison between Layer Normalization and Modified Layer Normalization」章について、具体的な内容を説明下さい。(簡略化せずに全て記載、既存手法の適用であれば引用元を記載)

▼生成AIの回答(ChatGPT-4o)
D. Comparison between Layer Normalization and Modified Layer Normalizationの章では、標準的なLayer Normalization (LN) と、それを修正したModified Layer Normalization (MLN) の詳細な比較が行われている。この章の具体的な内容は以下の通りである。

Layer Normalization (LN)
Layer Normalizationは、チャネル次元（特徴マップの各ピクセルに対して独立したチャネル）に沿って平均と分散を計算する。これにより、各チャネル内の特徴量のスケールが統一され、訓練の安定性が向上する。この処理では、入力データのすべてのチャネルにわたって正規化を行うため、チャネルごとの情報のバラつきを抑え、特徴量が一貫したスケールで扱われるようになる。

Layer Normalizationの具体的な数式表現は次の通りである。
入力データ $ x \in \mathbb{R}^{C} $ に対して、チャネル方向の平均 $ \mu $ と分散 $ \sigma^2 $ を次のように計算する。

$
\mu = \frac{1}{C} \sum_{i=1}^{C} x_i, \quad \sigma^2 = \frac{1}{C} \sum_{i=1}^{C} (x_i - \mu)^2
$

そして、以下の式で正規化を行う。

$
\hat{x}_i = \frac{x_i - \mu}{\sqrt{\sigma^2 + \epsilon}}
$

ここで、$\epsilon$ は数値安定性のために加える小さな値である。これにより、各チャネル内の平均が0、分散が1に正規化される。

さらに、正規化後の特徴量に対して、学習可能なパラメータであるスケール $ \gamma $ とバイアス $ \beta $ を適用する。

$
y_i = \gamma \hat{x}_i + \beta
$

この処理は、PyTorchやTensorFlowなどのフレームワークにおいて簡単に実装でき、特にTransformerやBERTなどのアーキテクチャで広く使用されている。

Modified Layer Normalization (MLN)
Modified Layer Normalization (MLN) は、従来のLayer Normalization (LN) を拡張したものであり、特徴量のチャネル次元だけでなく、空間次元も考慮して正規化を行う。この変更により、単なるチャネルごとのスケール統一に加え、空間的な情報も取り込むことができる。これにより、特に視覚タスクにおいて、より効果的な正規化が可能になる。

Modified Layer Normalizationの数式表現は次の通りである。
入力データ $ x \in \mathbb{R}^{H \times W \times C} $ （高さ $ H $、幅 $ W $、チャネル数 $ C $）に対して、空間次元（高さ $ H $ と幅 $ W $）とチャネル次元に沿った平均 $ \mu $ と分散 $ \sigma^2 $ を計算する。

$
\mu = \frac{1}{H \times W \times C} \sum_{i=1}^{H} \sum_{j=1}^{W} \sum_{k=1}^{C} x_{i,j,k}
$

$
\sigma^2 = \frac{1}{H \times W \times C} \sum_{i=1}^{H} \sum_{j=1}^{W} \sum_{k=1}^{C} (x_{i,j,k} - \mu)^2
$

これにより、空間的な変動を含む全体的なスケールを統一することができる。そして、従来と同様に正規化後の特徴量に学習可能なパラメータ $ \gamma $ と $ \beta $ を適用する。

$
y_{i,j,k} = \gamma \hat{x}_{i,j,k} + \beta
$

MLNのもう一つの特徴は、実装のシンプルさである。PyTorchのGroupNorm APIを利用して実装でき、グループ数を1に設定することでMLNが実現できる。この点は、MLNを実際のモデルに容易に導入できる利点を示している。

比較結果
この章では、標準的なLayer NormalizationとModified Layer Normalizationの違いを強調しており、MLNが空間的情報を取り込むことで、より多様なタスクに対して有効であることを示している。MLNは特に視覚タスクで効果的であり、学習過程の安定性と最終的なモデル性能の向上に寄与している。また、実装の容易さも評価されており、PyTorch環境においても手軽に使用できる点が強調されている。

対応する比較のアルゴリズムはAlgorithm 2に示されている。

既存手法の適用に関して

Layer Normalizationについては、Ba et al. (2016)による提案であり、TransformerやBERTといったモデルで広く使われている【1】。
Modified Layer Normalizationは、従来のLayer Normalizationを基にした改良手法であるが、実装方法としてPyTorchのGroupNorm APIを使用している点が特徴である【1】。

このように、Modified Layer Normalization (MLN) はLayer Normalizationに対する有力な改良手法であり、特に視覚的なタスクにおいてその有効性が証明されている。

論文の本文に記載のない内容まで補完して丁寧に長い説明となっている。内容自体は正しいので、良好。

あとがき

所感

機械学習についてある程度知っていないと、生成AIに質問しても、その回答内容だけでは理解できないと思います。生成AIの回答は、論文の内容をあまり変えずに、要点をそのまま掻い摘んで回答するような形になっています。(良い意味で論文の要点をそのまま抜き出した形)

分かったこと

分かったこと・注目した点を列挙すると:

Transformerモデルの性能において、Attentionベースのトークンミキサーモジュールよりも、Transformerの一般的なアーキテクチャ自体が重要であることを主張している。さらに、Attentionモジュールをシンプルな空間プーリング演算に置き換えても、計算コストを大幅に削減しながら、競争力のある性能を達成できることを示している。

MetaFormerという概念を提案し、トークンミキサーに依存しない一般的なアーキテクチャが性能の鍵であると主張。
Transformerの構造をMetaFormerとして抽象化し、トークンミキサーの特定をせずに、一般的なアーキテクチャを提案している。このアプローチにより、Attention以外のミキサーも容易に採用可能となっている。

MetaFormerでは、トークンミキサー以外の全ての構造をTransformerから継承し、トークンミキサー以外の要素はTransformerと同様である。

プーリングという非常にシンプルな非パラメトリックなトークンミキサーを使用したPoolFormerモデルが、ViTやMLPモデルを上回る性能を達成。
ImageNet-1Kにおいて、PoolFormerは82.1%のトップ1精度を達成し、DeiT-BやResMLP-B24のようなベースラインモデルをパラメータ数やMACsで大幅に上回る。

Transformerの一般的なアーキテクチャ (MetaFormer) がモデル性能に大きな影響を与えるため、特定のトークンミキサーの種類よりも、このアーキテクチャを改善することがより重要である。

他の複雑なトークンミキサー (例: Fourier Transform) とも比較され、基本的なトークンミキシングでも競争力のある結果が得られている (引用元 [32])。

本研究の目的は新しいトークンミキサーを設計することではなく、MetaFormerという一般アーキテクチャの重要性を検証することである。

プーリング層: あるトークンが周辺トークンから平均的に特徴を集約するという単純な操作。
プーリング演算の実装: プーリングは入力テンソルから周辺のトークンの特徴を集約し(nn.AvgPool2d)、それを元のトークンから差し引く操作で実装される(pool(x) - x)。
※外側には残差接続があるため、Poolingブロックからの出力は、残差であることが好ましい。

階層型アーキテクチャ: PoolFormerは4つのステージを持ち、各ステージでトークン数を減らしながら情報を集約していく。ステージ1〜4のトークン数はそれぞれ H/4×W/4, H/8×W/8, H/16×W/16, H/32×W/32 である。

データ拡張: MixUp、CutMix、CutOut、RandAugmentなどのテクニックが使用されている。
正則化: Label Smoothing（0.1）、stochastic depth、LayerScaleを使用。
Layer Normalizationの修正: トークンとチャンネル次元に沿って平均と分散を計算するために、PyTorchのGroupNorm APIを使用し、グループ数を1に設定して実装されている（PyTorchのGroupNorm APIを使用）。

PoolFormer-S24は21Mのパラメータと3.4GのMACsで80%以上のトップ1精度を達成している。これに対して、DeiT-Sは79.8の精度で35%多いMACs（4.6G）を使用している【図3】。

PoolFormerをバックボーンとして使用した際の物体検出、インスタンスセグメンテーション、意味セグメンテーションの性能評価:
COCOデータセット上での物体検出とインスタンスセグメンテーションにおいて、PoolFormerはRetinaNetおよびMask R-CNNにおいてResNetを上回る性能を示した。
ADE20Kデータセットを用いた意味セグメンテーションにおいても、PoolFormerはCNNベースのResNetやTransformerベースのPVTを上回る結果を達成した。

PoolFormerをバックボーンとしてRetinaNetおよびMask R-CNNに組み込み、ImageNetで事前学習した重みをバックボーンに適用。新規追加層はXavier初期化を使用。
実験はmmdetectionフレームワークを使用。

Modified Layer Normalization (MLN): バニラLayer Normalizationよりもトークンとチャネル次元の両方に沿って平均と分散を計算するMLNを使用することで、精度を0.7%〜0.8%向上させた。
この変更により、単なるチャネルごとのスケール統一に加え、空間的な情報も取り込むことができる。これにより、特に視覚タスクにおいて、より効果的な正規化が可能になる。

残差接続やチャネルMLPが欠如すると、モデルが収束せず、正しい情報伝達が行われないため、性能が著しく低下する。0～5%へ低下。

Poolingのみより、Pooling + Attention (Hybrid)の方が、高精度。77.2%→81.0%。

今後の研究方向として、自己教師付き学習や転移学習におけるPoolFormerの評価、NLPタスクへの適用を検討。

PoolFormerのトレーニングを長期間実施し、2000エポックで性能が飽和することを確認。

Grad-CAMを用いて異なるモデル（ResMLP、DeiT、RSB-ResNet、PoolFormer）の視覚的なアクティベーションマップを比較し、PoolFormerがより集中したアクティベーションを示すことを確認している。