現在の生成AIで使用されているAttention技術について

基本概念と重要性

Transformerは2017年に「Attention is All you Need」という論文で発表された革新的なニューラルネットワークアーキテクチャです。
従来のRNN（再帰型ニューラルネットワーク）やLSTM(長短期記憶)モデルとは異なり、シーケンシャルな処理を行わない設計モデルとなっています。

Transformerの特徴と利点

• 再帰構造を持たず、Attention機構を中心に構成
• 時系列的な処理を並列化できるため、学習速度が大幅に向上
• 長期依存関係も保持しやすく、大規模モデルに適した構造

従来のモデル(RNN、LSTM)との違い

従来のモデルでは、テキストデータを順番に処理していくため、文章が長くなるほど計算効率が悪くなり、初期の情報が失われていく「勾配消失問題」がありました。

RNN(Recurrent Neural Network)の基本構造

RNNは、時系列データや系列的な情報を扱うために作られたニューラルネットワークで、前の時刻の隠れ層(記憶)を保持して処理します。

構造図

t時点：
x(t) ─→ [h(t)] ─→ y(t)
         ↑
         │
       [h(t−1)]

・x(t)：入力(例：単語や信号など)
・h(t)：隠れ状態：(前時刻からの情報を保持)
・y(t)：出力
→再起的に前の出力が次に影響する構造になります。

LSTM(Long Short-Term Memory)の基本構造

LSTMは、RNNの「長期依存性が保持しにくい」と言う問題を解決するために設計されたモデルで、3つのゲートによって情報の流れを制御します。

ゲート構造

            ┌────────────┐
x(t) ──→──→ │ 忘却ゲート │
            └────────────┘
                  ↓
            ┌────────────┐
x(t) ──→──→ │ 入力ゲート │
            └────────────┘
                  ↓
            ┌────────────┐
           [ 記憶セルの更新 ]
            └────────────┘
                  ↓
            ┌────────────┐
x(t), C(t)→ │ 出力ゲート │ ──→ h(t)
            └────────────┘

・忘却ゲート：過去の情報をどれだけ忘れるか制御(forget gate)
・入力ゲート：新しい情報をどれだけ記憶に加えるか(input gate)
・出力ゲート：記憶をどれだけ出力に使うか(output gate)
・C(t)：セル状態(長期記憶)
・h(t)：隠れ状態(短期記憶)

Transformerはこの問題を解決し、文章内の単語間の関係性をより効果的に捉えることができるようになりました。

Attentionの基本構造

         ┌────────────┐
         │ 入力シーケンス │
         └─────┬──────┘
               ↓
         ┌────────┐
         │  クエリ   │◄────┐
         └────────┘       │
               ↓          │
         ┌────────┐       │
         │   キー    │◄──┘
         └────────┘
               ↓
         ┌────────┐
         │ バリュー │
         └────────┘
               ↓
         ┌─────────────────────┐
         │     Attention計算部       │
         └─────────────────────┘
               ↓
       ┌────────────────┐
       │ コンテキストベクトル │
       └────────────────┘
               ↓
             ┌────┐
             │ 出力 │
             └────┘

・クエリ（Query）：どの情報に注目すべきかを決める。「問い」
・キー(Key)：全ての入力に対しての「注目候補」
・バリュー(Value)：実際に引き出すべき情報
・Attention計算：QueryとKeyの類似度をもとに重みを付けて、Valueの加重平均を出す。

Attention機構の基本概念

Transformerの心臓部とも言える技術です。
この仕組みにより、モデルは入力データの中で「どの部分に注目するべきか」を学習できるようになりました。

Attention機構とは何か

Attentionは、単語間の関連性を学習する仕組みです。
人間が文章を読むとき、書く単語の意味を理解するために前後の文脈を参照するように、Attention機構もある単語を理解するために他の関連する単語に「注目(Attention)」します。
これにより、単語の文脈に応じた適切な表現が可能になります。

🧩 まとめ

比較項目	RNN	LSTM	Transformer
並列処理	❌	❌	✅
長期依存性の保持	△	◯	◎
モデル構造	単純	中程度（ゲートあり）	複雑（Attention中心）
学習効率	遅い	やや改善	非常に高速
用途例	音声認識、簡易時系列処理	翻訳、対話、文章生成	GPT・BERT・翻訳全般

🙌 最後に

本記事はTransformerやAttentionの自分の理解を深めるために投稿しました。
次回以降に、以下のようなテーマを詳細に掘り下げていく予定です：

• Self-AttentionとMulti-Head Attentionの違い
• Transformerの全体のアーキテクチャ(エンコーダ・デコーダ)
• 位置エンコーディング仕組み
  よろしければ「いいね」や「フォロー」で応援お願いします！

📎 参考文献

• Vaswani et al., Attention is All You Need, arXiv:1706.03762

• OpenAI, GPT Technical Reports

• Google AI, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding