概要

Jaegle, A., Gimeno, F., Brock, A., Zisserman, A., Vinyals, O., & Carreira, J. (2021). Perceiver: Gneral perception with iterative attention. arXiv preprint arXiv:2103.03206.

Perceiver: General Perception with Iterative Attention
https://arxiv.org/abs/2103.03206

に関する解説でわかりやすいと思った記事を示す。

1

Youtube
https://www.youtube.com/watch?v=P_xeshTnPZg
Perceiver: General Perception with Iterative Attention (Google DeepMind Research Paper Explained)
Yannic Kilcher

記事の説明

このあたりの技術に関して有名な方。30分弱。見る価値あるはず。
（このYoutube自体はよくできているのだと思いますが、論文自体が難しいのと、英語があまりわからないのとの合わせ技で、イライラします。。。笑）

2

https://www.slideshare.net/DeepLearningJP2016/dltransformer-vit-perceiver-frozen-pretrained-transformer-etc
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
2021/03/12
Deep Learning JP:
http://deeplearning.jp/seminar-2/

記事の説明

日本語。Perceiver以外も含め、関連技術全体が理解しやすい。

まとめ

特になし

関連記事（本人）

深層学習。DeepMind(Google)のPerceiver(2021.06.23)は面白そう。ただ、もう難しいですね。

深層学習。DeepMind(Google)のPerceiverのココが気になる。