はじめに
初めまして、ktakumi_fishです。
最近話題のchatGPT(Generative Pretrained Transformer)の中心技術である「Transformer
」を学習した際に参考にしたサイトを今後学習する方のためになればと思い記録しておこうと思います。
初級者向け
【図解】誰でもわかるTransformer入門！凄さ・仕組みをわかりやすく解説
非常にわかりやすいサイトです。Transformerについて全く知らない人でもなんとなく理解できるのではないかと思います。
Deep Learning入門：Attention（注意）
Transformerに使用されている技術であるAttentionについてわかりやすく説明してくれるYoutube動画です。特にkey,query,valueの概念についてわかりやく説明していただけていると感じました。
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
近年、画像、強化学習などに利用されているTransformerですが、元々は自然言語処理の分野で登場したモデルです。自然言語処理における深層学習の歴史とともにTreansformerなどのモデルについて説明されています。自然言語処理という１段粒度の大きなところからTeransformerの位置を俯瞰できます。
中級者向け
Transformers Neural Network の図解ガイド: ステップバイステップの説明
英語が得意な方向けに。翻訳もあるのでそちらを使うのもよし。視覚的にわかりやすく説明されている。わからなくてもとりあえず見ておけば流れを掴むことができるのではないでしょうか？
【論文解説】Transformerを理解する
Transformerの全体像がなんとなく理解できた後に、Trransformerを構成する各パーツについて少し掘り下げて理解したい場合に読むと良いと思います。Transformer関連の技術解説が豊富でかつ丁寧に解説されており、良サイトです。
上級者向け
30分で完全理解するTransformerの世界
Transfomerについて知らない人が見るようなサイトではありません。しかし、Transformer周りについて幅広く言及されており、Transformerの深い世界に足を踏み入れたい人は見てみる価値があります。
Attention Is All You Need
元論文です。これが読めるような人は、このページを見ていないと思いますが参考までに。
最後に
自分自身もまだまだ勉強中の身でありますので、おすすめサイトなどがあれば教えていただきたいです
また、参考になるサイトが見つかり次第追加していこうと思います。