1. Transformerの概要
Transformerは、2017年にVaswaniらによって提案された自然言語処理（NLP）モデルのアーキテクチャで、「Attention is All You Need」という論文で発表されました。このアーキテクチャは、従来のRNN（リカレントニューラルネットワーク）やLSTM（Long Short-Term Memory）のようなシーケンシャル処理の代わりに、「自己注意機構（Self-Attention）」を使用することで、並列処理が可能になり、効率的に学習が行えるという特徴を持っています。
Transformerは以下の2つの主要な構造から成り立っています。
- エンコーダ：入力データを処理し、内部表現を生成します。
- デコーダ：エンコーダの出力を元に、新しいシーケンスを生成します（翻訳タスクなどに使用）
ところで、エンコーダーとデコーダーの意味とは何でしょう?
エンコーダーは、「入力データを理解して、意味を圧縮して表現する部分」です。例えば、文章をエンコーダーに入力すると、その文章が持つ意味を抽出し、重要な特徴をまとめます。
デコーダーは、「そのエンコーダーがまとめた「意味」を基に、新しいデータを生成したり、元のデータに戻す役割」をします。翻訳の例だと、エンコーダーが英語の文章を「意味」に変換し、デコーダーがその意味を使って日本語の文章を生成します。エンコーダーはデータを理解し、デコーダーはその理解を基に新しいデータを作る役割をします。※ここでは「暗号化」や「解読」とは少し違い、データの理解と再構成が中心となる考え方になるわけです。
2. GPTの概要
GPTは、Transformerアーキテクチャのうち、デコーダ部分に焦点を当てて設計されたモデルです。OpenAIが開発したGPTシリーズ（GPT-1、GPT-2、GPT-3、GPT-4）は、Transformerのデコーダアーキテクチャを基にし、自然言語生成タスクに特化しています。
GPTは自己回帰型言語モデルで、次の単語を予測するタスクを繰り返し行うことで、文章を生成します。以下がGPTの重要な特徴です。
- 自己回帰モデル: GPTは「左から右に」次の単語を生成する自己回帰モデルです。つまり、与えられた単語列の次に来る単語を1つずつ予測し、最終的に文章全体を生成します。「自己回帰型モデル」というと、難しく聞こえるかもしれませんが、簡単に言うと「過去の情報を使って、次に何が来るかを予測する方法」です。たとえば、文章を作るとき、これまでに書いた単語を参考にして次の単語を予測していくような感じです。
GPTのようなモデルでは、文章を左から右に順番に見て、次に出てくる単語を一つずつ予測して文章を生成していきます。
- 事前学習とファインチューニング: GPTは大量のテキストデータで事前学習され、その後、特定のタスクにファインチューニングされることで、幅広いタスクに対応できます。
3. TransformerとGPTの関係
アーキテクチャの基盤: GPTは、Transformerのデコーダ部分に基づいており、その中心となるのが「自己注意機構（Self-Attention）」です。これにより、GPTは文脈を理解しながら次の単語を予測することができます。
- 方向性の違い: Transformerはエンコーダ・デコーダの両方を備えた構造ですが、GPTはデコーダのみを使ってテキスト生成を行います。エンコーダ部分はありません。
- タスクの焦点: Transformerは翻訳などの双方向的なタスクにも対応できますが、GPTは自然言語生成に特化しています。
4. BERTとの違い
BERT（Bidirectional Encoder Representations from Transformers）は、Transformerのエンコーダ部分を利用しており、文脈を両方向から捉える双方向モデルです。これに対し、GPTはデコーダ部分のみを使い、文脈を左から右に読み取って次の単語を生成するという単方向のモデルです。
まとめ
TransformerとGPTを違いを簡単にまとめると下記のようになります。
- Transformer: エンコーダとデコーダの両方を持つアーキテクチャ。翻訳タスクなど、広範な自然言語処理タスクに対応。
- GPT: Transformerのデコーダ部分を基にした自己回帰型モデル。特に自然言語生成（次の単語の予測）に強みを持つ。