【AI進化の歴史：第11回】2017年：現代AI of ゲームチェンジャー：Transformer誕生

【AI進化の歴史を辿る連載】

前回（第10回）：【AI進化の歴史：第10回】2016年：人類の頭脳に挑む：AlphaGoの歴史的勝利

※本連載は、AIの誕生から現在までの歴史を1年ずつ追いながら、技術の変遷とドラマをドキュメンタリー小説風に解き明かしていきます。

1. プロローグ：現代AI前夜のゲームチェンジャー

2017年。現在の私たちが日常的に触れているChatGPT、Claude、Geminiといった驚異的な生成AIたちのすべての心臓部として鼓動している、ひとつの「究極の設計図」が世界に提示されました。

AIの歴史を「Before Transformer（トランスフォーマー以前）」と「After Transformer（トランスフォーマー以降）」に真っ二つに切り裂いた、決定的なイノベーションの誕生です。

その衝撃は、それまで自然言語処理（NLP）の主役であったニューラルネットの構造を根底から解体し、コンピュータと言語の関わり方を永久に変えてしまいました。

2. RNNの限界：逐次処理という名の重い足枷

2017年当時、言語の翻訳や音声の文字起こしといった時系列データを扱うAIの主役は、RNN（再帰型ニューラルネットワーク）や、その発展形であるLSTM（長・短期記憶）でした。

しかし、RNNには、いくら高性能なGPU（画像処理半導体）を並べて計算力を高めても絶対に解決できない「構造的な限界」がありました。
それは、「言葉を先頭から順番に、1文字ずつ逐次処理しなければならない」という制約です。

【逐次処理（RNN）のボトルネック】
「私は / ラーメンを / 食べた」という文を処理する場合、
「私は」の処理が終わるまで「ラーメンを」の計算を開始できず、
「ラーメンを」が終わるまで「食べた」の計算ができない。
このため、GPUの持つ「数千個の計算コアで一斉に並列計算する」という最大の強みを全く活かせなかった。

さらに、文章が長くなると、文頭に書かれた重要な主語などの情報が、文末に到達するまでに途中で薄まり、忘れてしまう「長距離依存関係の忘却」も大きな課題のままでした。

3. 論文『Attention Is All You Need』の宣戦布告

2017年6月、Google Brainなどの研究者チーム（アシュシュ・バスワニら8人の共著者）が公開したひとつの論文が、AI界に衝撃波を走らせました。
タイトルは『Attention Is All You Need』（必要なのは注意だけだ）。

この論文の主張は極めて過激で挑戦的なものでした。
「これまで自然言語処理に必須とされてきた再帰（RNN）も、畳み込み（CNN）も、すべてゴミ箱に捨てろ。『アテンション（注意）』の仕組みだけで、すべての言語をより正確に、かつ高速に処理できる」

そうして提案されたのが、新しいアーキテクチャ「Transformer（トランスフォーマー）」です。

4. 自己アテンション（Self-Attention）と並列計算の魔法

Transformerの核となるのが、「Self-Attention（自己アテンション）」というメカニズムです。
これは、入力された文の中のすべての単語が、他のすべての単語と直接繋がり、どの言葉が互いに深く関連し合っているかを「並列で同時に」計算する仕組みです。

※図：Self-Attentionによって、文中の代名詞「it」が「street」ではなく「animal」を指していることを動的に判定する仕組み（AI生成ダイアグラム）

例えば、以下の英文を処理する場合を考えます。
"The animal didn't cross the street because it was too tired."（その動物は通りを渡らなかった。なぜならそれは疲れすぎていたからだ）

人間は、この「it」が「street（通り）」ではなく「animal（動物）」を指していることを文脈から一瞬で理解します。
Transformerは、Self-Attentionの計算マップにより、「it」という単語を生成する際に入力文全体のすべての単語に注意の重み（Attention Weight）を配分し、「it」と「animal」の間に太いリンク（高い結合度）を自律的に作り出します。RNNのように単語を遡るループ処理を経ることなく、一瞬で「言葉と言葉の距離」をゼロにして文脈を正確に捉えることができるのです。

そして、このアーキテクチャの最大の恩恵は、「並列処理の完全な解放」でした。
文全体を一度に一括で入力して同時に計算できるため、GPUの計算パワーを限界までフル活用できるようになりました。これにより、従来の数十倍から数百倍のスピードで学習を回すことが可能になり、「インターネット全体のテキストデータを丸ごと巨大なモデルに学習させる」という、それまでは夢物語だったスケールアップへの道が拓かれたのです。

5. Transformerの基本構造

Transformerは、入力を数値表現（ベクトル）に変換して解釈する「Encoder（エンコーダ）」と、そこから翻訳先や返答の言葉を生成する「Decoder（デコーダ）」の2つのセクションで構成されています。

※図：Self-AttentionとFeed Forward層を積み重ねたTransformerのEncoder-Decoderアーキテクチャ（AI生成ダイアグラム）

この中に、アテンションを複数並行して走らせる「Multi-Head Attention（マルチヘッド・アテンション）」を何重にも積み重ねることで、言葉の持つ「主語と述語の関係」「代名詞の指示先」「文脈のニュアンス」などを別々の視点から多角的に同時に把握する、高度な「理解の脳」が構築されたのです。

6. エピローグ：After Transformerの狂騒曲

2017年、Transformerというゲームチェンジャーの登場により、AI研究の重心は完全に移行しました。

「この圧倒的に並列計算が可能なアーキテクチャに、莫大なデータと巨大な演算力を注ぎ込めば、何が起きるのか？」
この問いに対する興奮が、翌年2018年、AIの歴史に残る2つの巨大言語モデルの激突を引き起こすことになります。

ひとつは、文章の左右の文脈を深く読み取るGoogleの「BERT」。
もうひとつは、次の言葉を予測し続けることで物語を紡ぐOpenAIの「GPT-1」。

次回、2018年。現代へと直接つながる、LLM（大規模言語モデル）の狂騒曲が静かに始まります。
「【AI進化の歴史：第12回】2018年：自然言語のブレイクスルー：BERTとGPT-1」へ。

知能の言語獲得への歩みは、ここから爆発的なスケールアップの時代に突入します。