RNNからTransformerへ：なぜ変化が起きたのか
更新日: 2025年10月
長年、系列データモデリングの主力はRecurrent Neural Networks（RNN）でした。翻訳、音声認識、テキスト生成といったタスクでRNNは重要な役割を担っていました。しかし現在、最先端のNLP論文やモデルカードを開くと、支配的なのは別の名前――Transformerです。では、何が変わり、なぜコミュニティはこれほど急速にRNNから移行したのでしょうか。ここでその流れを整理します。
RNNの時代：逐次処理の輝き
深層学習がテキスト処理に応用され始めた初期、RNNは「魔法」のように見えました。隠れ状態を通じて過去の入力を保持できるため、文や時系列データといった系列情報の処理に適していました。
しかしRNNには致命的な問題がありました — 勾配消失（vanishing gradients）です。長い系列になると、先頭付近の情報からの信号が弱くなり、モデルは重要な文脈を忘れてしまいます。⚠️
この問題を解決するために登場した代表的な変種が次の2つです：
- LSTMs（Long Short-Term Memory） — メモリの流れを制御するゲートを導入。
- GRUs（Gated Recurrent Units） — LSTMを簡略化しつつ、主要な利点を維持。
しばらくの間、LSTMがNLPを席巻しました。Google Translate（pre-2017）や言語モデル、初期のチャットボットなどに使われていました（参考: Google Translate）。しかし、LSTMにも限界がありました：
- 逐次処理のため学習が遅い（並列化が難しい）。
- 長距離依存関係の把握が依然として困難。
- 巨大データセットへスケールするには計算コストが高くなる。
転換点：Attention（注意）機構 💡
2014年頃、Attentionと呼ばれる考え方が登場し、風景を一変させ始めました。発想は単純かつ革命的でした：系列全体を一つの固定ベクトルに詰め込むのではなく、モデルが各ステップで入力の「重要な部分に注目（focus）」できるようにする、というものです。
Attentionを加えることで、seq2seqモデルはより文脈に敏感になりました。ただし当初はRNNの上に乗る形で使われることが多く、RNNの完全な代替にはなっていませんでした。ここでの重要なポイントは、モデルが「どこに注意を向けるか」を学習できる点です。
Transformer革命 🚀
そしてすべてを変えた論文が登場します。
“Attention is All You Need” (2017)
著者たちは大胆に問いかけました：
再帰（recurrence）を完全に取り除いたらどうなるか？
答えがTransformerでした。Transformerは**自己注意（self-attention）**のみで構成され、全てのトークンを同時に処理します。これにより、大規模な並列化が可能になり、入力全体を俯瞰して文脈を把握できます。
主な革新点：
- Self-Attention：各トークンが他のすべてのトークンを参照し、直接的に文脈関係を学習する。
- Positional Encoding：逐次処理を行わないため、位置情報を明示的に与える仕組み。
- Feed-Forward層とResidual接続：より深いモデルを安定して学習できる基盤。
結果は劇的でした。Transformerは単にRNNを上回っただけでなく、学習速度、文脈把握、スケーラビリティのすべてで優位を示しました。
比較表：RNN vs Transformer（簡易） 🔧
| 特徴 | RNN / LSTM / GRU | Transformer |
|---|---|---|
| 処理方式 | 逐次（シーケンシャル） | 同時並列（並列化可能） |
| 長距離依存 | 取りにくい | Self-Attentionで直接扱える |
| 学習速度 | 遅め | 高速（GPU/TPUで大幅並列） |
| 計算コスト | 時間軸に比例 | トークン数の二乗（長い系列で課題） |
| 実用領域 | 小～中規模系列 | 大規模言語モデル、マルチモーダルなど |
※Transformerは長い系列に対して自己注意がO(n^2)の計算量を生むため、その点は後述の改良が必要になります。
その後：Transformerファミリーの拡大
Transformerが優位を示したあとは、一気に派生モデルが増えました。
- BERT (2018) — 双方向的な文脈理解を目指した事前学習モデル。
- GPT（2018〜）— 長文を生成できる大規模生成モデル（autoregressive）。
- T5、RoBERTa、XLNet など — 事前学習・ファインチューニングやスケールの限界を押し広げる試み。
さらにTransformerはNLPの枠を超え、Vision（ViT）、音声、強化学習など多くの領域にも応用されるようになりました。
実用上の注意点と発展（補足） 📝
Transformerの成功にもかかわらず、実運用や研究で考慮すべき点があります。
- 計算とメモリのコスト：自己注意はトークン数に対して二乗の計算量を要します。長文処理にはTransformer-XL、Longformer、Reformer、Linformerなどの改良手法が提案されています。
- 推論レイテンシ：モデルが大きくなるほど推論遅延が問題に。量子化や蒸留（distillation）、効率的なアテンション実装が実務で重要です。⚠️
- データ需要：大規模な事前学習は膨大なデータと計算資源を必要とします。これに伴う環境負荷やコスト管理も無視できません。
- モデルの挙動（例：hallucination）：生成系モデルは確証のない出力をする場合があり、検証や安全策が必要です。
これらは研究・エンジニアリング両面で活発に取り組まれている課題です。
（補足的に）小さなプロジェクトやリアルタイム処理では、まだRNN系が適するケースもあります。モデル選択はタスクの性質、レイテンシ要件、利用可能な計算資源を踏まえて行うべきです。
大きな視点：逐次からグローバルへ
RNNからTransformerへの移行は単なる技術的な改良ではなく、計算パラダイムの転換でした。逐次的に一歩ずつ計算するアプローチから、入力全体の関係性を一度にモデル化するやり方へと移ったのです。
今やモデルは単に「記憶する」だけでなく、入力全体に散らばる関係性を「理解」するようになりました。マルチモーダルAI、agentic systems、foundation modelsといった次世代の応用領域においても、Transformerの考え方が中心にあります。🚀
結び
深層学習アーキテクチャの変遷は、進化の歴史にも似ています。微細な改良が積み重なり、ある時点で革命的な飛躍が起こる――RNNは歩き、LSTMは走り、そしてTransformerは「飛ぶ」ことを学んだのです。