はじめに
私が「15分で分かる人工知能と計算機科学の歴史」という記事を note で公開したのは、7年前（2019年10月）のことでした（前編, 後編 → その1年後 Qiita で再編集して公開）。
当時は Transformer の凄さが完全に証明され、Google 検索に BERT が組み込まれて検索精度が飛躍的に向上したことにより（後で詳しく説明）、世界中がフィーバーしたパチンカスみたいなテンションで「BERT 凄すぎワロタwwww」などと爆上げの時代でした。
そこから7年が経過したわけですが、蓋を開けてみると、BERT に代わって「GPT」と呼ばれる技術が世界を席巻することになったのです。「これからは BERT だな😏」と考えていた私にしてみれば、西から日が昇るほどの大事件です。
このように、短期間で価値観が180度転回する業界をクロスレンジで観察しても、目が回るばかりでその動向を把握することは難しいでしょう。そこで 「生成 AI に至るまでの歴史を学んでロングレンジからその全体像を眺めようぜ！」 という野心的な魂胆が、再度ふと思い浮かぶわけです。
歴史を知れば未来が見える。嗚呼、温故知新。いまこそ皆で再び歴史を振り返り、人工知能の進歩に思いを馳せようではありませんか！（拳を握りしめながら）
（なお、本記事は前述した前の記事で説明した内容を予備知識としますので、未読の方はまずこちらから読むことをオススメします）
国家の命運をかけた「ロシア語翻訳」の夜明け
コンピュータで自然言語を扱おうとする試みの歴史は長く、いまから70年ほど遡らなければなりません。第二次世界大戦が終わった当時、アメリカとソ連（現在のロシア）が冷戦状態に陥ったということは、少しでも近代史を勉強している人なら知っているはずです。
この背景にあって、歴史上最初の国家的 AI プロジェクトが生まれました。それは、アメリカ政府による 「ロシア語から英語への機械翻訳」 の研究だったのです。
冷戦が激化する中、アメリカ軍や諜報機関にとって、ソ連の科学論文や傍受した通信をリアルタイムで解読することは国家防衛の最優先事項でした。そこで1954年、ジョージタウン大学と IBM が共同で、歴史上初の機械翻訳の公開デモを敢行します。
ロシア語の「単語の辞書」とごく基本的な「文法規則」を、当時の巨大な真空管コンピュータ（IBM 701）にパンチカードで入力したところ、60程度のロシア語の文章が英語に見事翻訳されたのです。
この成功に世界は熱狂しました。当時の研究者たちは「あと5年、遅くとも10年以内には機械翻訳のルール化は完璧に完了し、人間の通訳者は失業するだろう」と大真面目に予測していました。人工知能バンザイ！！人工知能バンザイ！！ と。
ところが......この野心的な試みは頓挫することになります。「言葉をルールで処理する」というアプローチが、そもそも無理筋だったのです。
例えば、「もし名詞の後にこの格が来たら、それは目的語である」といった膨大な「IF-THEN（もし〜なら〜）」のルールを自然言語に適用していくわけですが、これは「人間の言語は、チェスや数学と同じように、厳密なルールの組み合わせでできている」という前提が必要です。
ところが、人間の言葉は、数学のように綺麗なルールだけでは割り切れません。言語学者とエンジニアたちは、無限の例外が無限にルールを複雑化する現実に直面し、絶望的な気分になったことでしょう。
そして1966年、アメリカ政府が設立した自動言語処理顧問委員会が、機械翻訳研究に対する査読報告書（ALPAC報告）を提出します。その結論は、非常に冷酷なものでした。
「機械翻訳は人間の翻訳よりコストがかかり、不正確で、使い物にならない。これ以上の国家予算の投入は無駄である。お前らはお母さんの肩でも揉んでろ」
これにより、アメリカ政府からの研究資金は完全にストップしました。AI の世界が、ここから数十年に及ぶ長い「冬の時代」へと突入することになったことは、前の記事にも書いたとおりです。
しかし、研究の火が完全に消えたわけではありませんでした。コンピュータと人工知能の可能性に魅せられた科学者たちは、地べたを這い、泥水をすすってでも地道に研究を続けたのです。そして、ここから AI の歴史は第2の大きな波へと向かいます。
ルールベースの「局地戦」と統計的自然言語処理の誕生
冬の時代の間も、一部の研究者たちは諦めずにルールベースのアプローチを追求していました。国家間の壮大な翻訳のような「全面戦争」は無理でも、「特定の狭い専門分野（局地戦）」ならルールを書き切れるのではないかと考えたのです。
例えば、天気予報を英語からフランス語に翻訳するシステムが、カナダで開発されています。天気予報に使われる言葉は非常に限定されているため、ルールベースでもほとんど完璧に動作し、なんと2001年まで20年以上も現役で実用されました。
また、「もし熱が38度以上で、かつ喉が赤いなら、この病気の可能性が高い」といった、専門家の知識を数万本の「IF-THENルール」として詰め込んだ AI がビジネスで大流行しました。1970年代の前半に計算機科学者のファイゲンバウムによって考案されたこの枠組みを、「エキスパート・システム」 と呼びます。
画像出典：そうだ！研究しよう「第2次AIブームで盛り上がりを見せた「知識表現」に関して：エキスパートシステムとは！？」
しかし、やはりこれらも「少しでも専門外の言葉が入ると全く動かない」「ルールが増えると矛盾してクラッシュする」という根本的な問題を解決できませんでした。システムの動作をトップダウンで記述するアプローチは、完全に袋小路だったのです。そして、AI 研究は、1980年代末に2回目の「冬の時代」を迎えてしまいます。
そんななか、1990年代に入ると、歴史をひっくり返す2つの巨大な進化が起こります。
一つは、コンピュータの処理能力の劇的な向上と低価格化でした。インテル創業者のムーアが「ムーアの法則」をブチ上げたことも前の記事に書いたとおりですが、この経験則に沿って、かつては高嶺の花だった計算資源が、今や鼻紙みたいなものとして扱えるほど普及したのです。
もう一つは、インターネットの普及による大量のデジタルテキストの蓄積でした。1990年代後半以降、ウェブやブログ、SNSの爆発的普及によって、人間が生み出す「言葉」はネットワーク上の膨大な「データ資源」へと変貌しました。
ここで、IBM の研究者たちを中心に、全く新しい発想が生まれます。
「人間の複雑な文法ルールをプログラムにするのはもうやめよう。代わりに、大量の文章データをコンピュータに放り込んで、単語が並ぶ『確率』を計算させればいいじゃないか」
これが、現代の LLM（大規模言語モデル）へとダイレクトにつながる「統計的自然言語処理」の誕生です。
言葉を確率に変える試み
研究者たちが試みたのは、言葉を「意味」として理解させることではなく、徹底的な「カウント（統計）」でした。
例えば、「私は ［？］ を食べる」のように、文章の途中に空欄があったとします。昔のアプローチでは、辞書をひっくり返し、「『食べる』の目的語になれる名詞のルール」をチェックします。一方で、統計的アプローチでは、過去数百万件の文章データを調べて確率を計算します。
- 「ごはん」が来る確率：60%
- 「パン」が来る確率：25%
- 「机」が来る確率：0.001%
このように、単語のつながりを統計的な確率として処理したのです。2006年に登場した初期の「Google 翻訳」は、まさにこの統計的アプローチの集大成でした。
国連の多言語議事録などの膨大な対訳データをコンピュータに読み込ませ、「このフランス語のフレーズのときは、この英語のフレーズが出現する確率が最も高い」という確率のパズルを解かせることで、人間がルールを1行も書くことなく、そこそこ読める翻訳を作り出すことに成功したのです。
しかし、この統計的アプローチにも、大きな壁が立ちはだかります。それは、「データに一度も出てこなかった未知の組み合わせに出会うと、何も処理できなくなる」 という壁でした。
沈黙するコンピュータを前にして、研究者たちは天を仰ぎました。いくらデータを集めても、世の中の言葉の組み合わせは無限です。「私は富士山を食べる」なんてイカれた文章は、過去のデータに一度も出てこないでしょうから、確率はピッタリ0%です。
そうすると、コンピュータは「そんな文章、知らんがな」とフリーズし、壊れたアレクサみたいに沈黙してしまいます。残念ながら、単語を一つずつ数え上げる作戦は、ここで完全に雪隠詰めとなりました。
もうダメだ。八方塞がりじゃないか.......
......のように思えましたが、ここで颯爽と現れた救世主がいます。
そう、現代の我らが大正義「にゅーらる☆ねっとわーく」 です。
ニューラルネットワークを使えば、「未知の単語に出会うとフリーズする」という童貞を拗らせたような挙動を制御できることが分かったのです。
そのロジックは、こうです。
- 「お茶」の周りには、「飲む」「美味しい」という単語がいつも集まっている。
- いま「特製ウーロン茶」という未知の単語が現れた（従来のアプローチではここでフリーズ）。
- よく見ると、この単語の周りにも「飲む」「美味しい」という単語が集まっている。
- 「お前......見たことない顔だけど、お茶の親戚だろ？」
AI は文法を理解していませんが、「周囲のメンツがほぼ同じだから、こいつらは同じカゴ（近くの座標）に入れておこう」と判断します。
このトリックのおかげで、AI はこう進化しました。
「特製ウーロン茶」という単語は初めて見た。しかし、こいつの座標は「お茶」や「ジュース」のすぐ隣にある。ということは、こいつの後ろには、「お茶」の隣にある「飲む」という単語を引っ張ってくれば、高確率で正解になるはずだ。
要するに、「一文字違えば他人」という絶望の世界から、「似たような場所にあるから仲間」という救いの世界へシステムを移行させたのが、ニューラルネットワークに基づくアプローチだったのです。
ちなみに、このアプローチは「Word2Vec（Word to Vector）」と呼ばれています。文字どおり、「単語をベクトル（座標）に変換する」ということです。これにより、人間は「意味」を「幾何学的座標」に変換することに成功しました。
LSTM の全盛期とアテンションの仕組み
科学者たちが次に挑んだのは「文章」という長い時系列データでした。言葉は、並ぶ順番によって意味が変わります。例えば「私が犬を噛んだ」と「犬が私を噛んだ」では、意味が全然違います。単語をバラバラの座標にするだけでは、この「流れ」が扱えません。
そこで白羽の矢が立ったのが、ディープラーニングの世界において時系列データを扱うために開発された「RNN（再帰型ニューラルネットワーク）」でした（ディープラーニングの詳細については、前の記事を参照）。
RNN は「伝言リレー」 で文脈を理解します。文章を先頭から一語ずつ読みながら、「ここまでの話の要約メモ」を次の単語へ、また次の単語へと順番に手渡していく。こうすれば、いま読んでいる単語が「これまでの流れ」を踏まえて処理されるというわけです。理屈は美しい。
ところが、この伝言リレーには致命的な弱点がありました。リレーが長くなるほど、最初の記憶がトコロテン式に消えていくのです。「昨日、北海道の祖母の家で食べた海鮮丼は......」と長々続けたあと、文末で「美味しかった」が出てくる頃には「海鮮丼」をすっかり忘れている。
この物忘れを食い止めるべく考案された骨組みが「LSTM（Long Short-Term Memory）」 でした。直訳すれば「長くて短い記憶」。要するに、忘れていい短期記憶と、握っておくべき長期記憶を、AI 自身に仕分けさせようという発想でした。
LSTM がやったことは、伝言リレーのメモ用紙の脇に、もう一本「絶対に消さない長期メモ専用のベルトコンベア」を増設したことでした。
このアーキテクチャは強力でした。2010年代の半ば、機械翻訳や音声認識といった言語 AI の王座には、LSTM が君臨していたのです。2016年頃、Google 翻訳の精度が突然跳ね上がり、「異次元の怪文書」から「ちょっと不自然な日本語」レベルに進化したのは、この LSTM のおかげです。
しかし、やはり LSTM にも弱点がありました。前から一語ずつ順番に処理するリレー方式では、文章が長くなるほど処理時間が長くなります。また、どれだけメモ帳を複雑に増築しても、遠く離れた単語どうしの関係はやっぱり薄れがちでした。
この問題を解決するために、補助パーツとして開発されたのが「アテンション」という仕組みです。これは、「文章を読むとき、どこに集中すべきか」を AI に動的に計算させる仕組みです。
「彼は昨日、お気に入りのカフェでコーヒーを飲んだ。」
この文章を読んだとき、人間は無意識に「彼」と「コーヒー」と「飲んだ」を強く結びつけています。アテンションは、単語と単語の「結びつきの強さ」を数値化し、これを巨大な総当たり戦の表（行列）にしてすべての組み合わせを同時に計算します。
例えば、「I love you」のような3単語から成る文章があったとき、すべての単語の組み合わせ（この場合は $3 \times 3 = 9$ 通り）に対して結びつきの強さを数値化し、行列計算によって「合計100％のスポットライトの配分」を決定します。
「I」を処理するときは「love」に70%、「you」に20%意識を向けろ、という具合に％を自動で割り振ることで、AI は文脈のつながりを一瞬で理解できるようになりました。
ただし、この時点でのアテンションは、あくまで LSTM という土台に乗る「便利なオプション」 という位置づけでした。主役はあくまで LSTM。アテンションはその働きを助ける、気の利いた脇役に過ぎなかったのです。
アテンションさえあればいい
しかし、2017年、Google の研究チームが誰も予想しなかった衝撃的な論文を発表します。
タイトルは、
「Attention Is All You Need（アテンションさえあればいい）」
実に挑発的です。多くの科学者はこのタイトルを目の前にして、乾燥した踵みたいな顔をしたことでしょう。
そう、Google は「主役だったはずの LSTM をすべて捨て、補助パーツだったアテンションだけでネットワークを組んだら、圧倒的な AI ができた」という狂気のパラダイムシフトを起こしたのです。
この新しいアーキテクチャが、現代 AI のすべての基盤である 「Transformer（トランスフォーマー）」 です。昭和世代にとっては「ビックリドッキリメカ」を彷彿とさせるネーミングですが、全然関係ありません。
Transformer によって AI の性能は飛躍的に向上しましたが、それ以上にインパクトがあったのが計算速度でした。前述したとおり、アテンションの本質は、総当たり戦の表（行列）を計算することです。行列を使って計算を効率化できるからこそ、爆速に動作します。
そして、この「行列計算」という特殊な用途に特化したハードウェアがありました......そう、GPU（Graphical Processing Unit） です。GPU は、画像処理で必要になる行列計算を実行するのが本来の役割です。
例えば、3Dゲームにおいてユーザーの視点が A から B に変化するとき、画面に描画されているオブジェクトの座標が変化します。この「座標変換」は巨大な行列演算によって実現されており、GPU はこれを支える補助装置に過ぎませんでした。
ところが、Transformer の出現により行列計算の需要が爆発的に増えると、GPU は一躍時代の寵児に成り上がります。IT 各社が「石油でも掘り当てたんか？」という勢いで札束を投げ出して GPU を買い漁った結果、ただの「グラフィックボードメーカー」だった NVIDIA の株価は、そのグラフが垂直の壁に見えるほど高騰し、時価総額5兆ドルという異次元の実績解除を果たしたのです。
Transformer から生まれた「双子の巨頭」
Transformer という画期的な構造が発表された翌年の2018年、AI 界を揺るがす2つの重要なモデルが登場しました。それが Google の BERT（バート）と OpenAI の GPT-1 です。同じ Transformer をベースにしながらも、この双子は「目的」と「文章の読み方」が正反対でした。
BERT は、文章を「深く理解する」プロです。その特徴は、文章を「左から右」と「右から左」の両方向から同時に処理する（挟み撃ちにする） 点にあります。
一方で、GPT は、文章を「新しく作り出す」プロです。その特徴は、ある単語の次に来る最高確率の単語は何か？をひたすら予測する点にあります。
例えば「私は昨日、お気に入りのカフェでコーヒーを飲んだ」という一文があったとします。
BERT は穴あき問題が正確に当たるように、AI を訓練します。つまり、AI に「私は昨日、お気に入りのカフェで 【穴あき】 を飲んだ」という穴あき文章を大量に読ませて、穴の前後にある単語から穴の単語を推測させます。つまり、前後から挟み撃ちするように単語を推測するわけです。
一方で、GPT は、「次に来る言葉を当てる連想ゲーム」をひたすら繰り返すことで、AIを訓練します。GPTに与えられるのは、常に「途中でぶった切られた文章」です。
- AIに渡す文：「私は昨日、お気に入りのカフェで……」
- GPTへの課題：「さあ、この次に来る確率が一番高い単語を答えなさい」
これだけです。この課題に対してGPTが「コーヒー」と正解できたら、次は「私は昨日、お気に入りのカフェでコーヒーを……」と、今さっき自分が当てた単語も巻き込んで、さらにその次に来る「飲んだ」を予測させます。
この処理の特徴は、BERT のような前後からの「挟み撃ち」が許されない点にあります。未来の言葉（右側）は完全に隠されており、常に「左から右へ」という過去の記憶だけを頼りに次の1文字を紡ぎ出さなければなりません。
一見すると、両方向から挟み撃ちできる BERT の方が圧倒的に知的で、GPT はただのマジカルバナナに見えます。実際、2019年当時は誰もがそう信じていました（私もそうでした）。当然にして当たり前の成り行きです。
しかし、この「左から右へ、次に来る言葉をひたすら予測する」という一見バカで単純なマジカルバナナこそが、のちに世界をひっくり返す「生成AI」を生み出した狂気の育成方針だったのです。
スケーリングローと創発の奇跡
2020年を境に、自然言語処理の業界は 「成長戦略まっしぐらだ！ガハハ！」 と言わんばかりの狂気へと突入し、AI開発の方向性は大きく変わりました。
それまでは「いかに賢いプログラムの構造をエレガントに設計するか」という人間の能書きが中心でしたが、ある時を境に「細かい理屈はいいから、とにかく物理的な規模をデカくしろ」という、完全に発想ゴリラな脳筋アプローチへとシフトしたのです。その絶対的な根拠となったのが、「スケーリングロー（拡張則）」という恐ろしい法則でした。
これは、AIの賢さが次の3つの要素を大きくすればするほど、予測可能な形で確実に向上していくという身も蓋もない経験則です。
- モデルの大きさ（AIの脳の容量）
- データの量（学習させる言葉の量）
- 計算の量（コンピュータを動かす規模）
「こまけぇこたぁいいんだよ！」 とばかりに、ちまちまとした仕組みをあれこれ調整するのを一切やめ、「データと計算資源の暴力を信じて規模を巨大化させること」こそが、AIを最強にする最も確実な道であると証明されたのです。
この法則を信じて、2020年に開発されたのが「GPT-3」です。従来の AI の約100倍という圧倒的な規模で学習を行った結果、誰も予測していなかった驚くべき現象が起こりました。それが「創発能力」です。
創発とは「規模を大きくしていくと、ある境界線を超えた瞬間に、教えていないはずの高度な能力が突如として現れる現象」を指します。
言葉の翻訳やプログラミング、複雑な論理パズルを解くといった高度な能力は、AI の規模が小さい内は「能力ゼロ」のままで、全く実行できません。しかし、AI の規模が一定のラインを超えた瞬間、まるで水が沸騰して気体へと変わるかのように、突然それらのタスクをこなせるようになります。
世界中の膨大な文章を読み込ませて「次に来る言葉」を極限まで正確に予測させた結果、AI の内部には、教えられていないはずの「世界の仕組み」や「論理的な思考の流れ」が自然と形作られていたのです。
この創発能力の発見によって、AI の使い方は一変しました。
これまでは「翻訳用のAI」「要約用のAI」と、目的ごとに人間が専用のデータを用意して個別に訓練し直す必要がありました。しかし、十分に巨大化して創発能力を獲得したAIは、チャット画面で「プログラミングして」「この文章を要約して」と普通の言葉（プロンプト）で指示を出すだけで、あらゆる作業をその場で汎用的にこなせるようになったのです。
二大技術の共存とこれからの自然言語処理
巨大な汎用AIであるGPTシリーズが世界の主流となった今、かつて王座に君臨していたBERTは過去の遺物として消え去ってしまったのでしょうか。
結論から言えば、BERTは現在も消滅することなく、ITインフラの重要な裏方として現役で使われ続けています。 ここには、技術的な「適材適所」による明確な棲み分けが存在します。
数百億から数兆もの規模を持つ現在のGPTをはじめとする大規模言語モデル（LLM）は、非常に高い知性を持つ一方で、動かすために膨大なコンピュータ資源（GPU）と電気を必要とします。また、回答を生成して出力するまでに数秒から数十秒の時間がかかります。
そのため、世界中で一日に何億回も利用される検索エンジンなどの仕組みすべてをLLMだけで処理しようとすると、コストと速度の面で破綻してしまいます。
これに対して、数億規模のコンパクトな脳を持つBERTは、一般的なサーバーでミリ秒単位（一瞬）かつ極めて低いコストで動作します。さらに、文章を「新しく作り出す」ことはできませんが、渡された文章の文脈を「深く理解して正確に分類する」能力においては、今でも非常に高い性能を発揮します。
そのため、現在の高度なAIシステム（例えば、社内データから答えを探すシステムなど）では、以下のようにBERTとGPTが連携する仕組みが一般化しています。
ステップ1（BERTの役割）：
ユーザーの質問に対して、数万件の書類の中から「関係がありそうな箇所」をミリ秒単位で正確に、超高速で探し出す。
ステップ2（GPTの役割）：
BERTが見つけてきた正確な情報だけを読み込み、ユーザーが読みやすい自然な対話形式の文章にまとめて回答する。
このように、「正確に情報を探し出す探偵」としてのBERTと、「それを分かりやすく人間に説明する案内係」としてのGPTという形で、お互いの弱点を補い合う形で共存しているのが現在のリアルなシステムの姿です。
自然言語処理の歴史が示すもの
冷戦期の1950年代に始まった「人間が文法ルールを辞書のようにコンピュータに教え込む」という挑戦は、言葉の持つ曖昧さと複雑さの前に一度は完全に挫折しました。
しかしその後、人間が細かくルールを教えることを諦め、
- 1990年代には、言葉を「確率と統計」で数えるようになり、
- 2010年代前半には、言葉を「意味の空間（座標）」として捉えるようになり、
- 2010年代後半には、「アテンション（注目）」によって文脈を一撃で処理するようになり、
- 2020年代には、「圧倒的なデータの量と計算規模」によって、AI自身に知性を獲得させる（創発）に至りました。
ロングレンジからこの自然言語処理の歴史を振り返ってみれば、それは「人間がルールを定義しようとする傲慢さを手放し、コンピュータの計算力とデータの可能性にすべてを委ねていくことで、知性を宿らせてきた歴史」そのものであると言えます。
2019年にBERTが検索エンジンに導入されて世界が驚いてから、わずか数年でここまでのパラダイムシフトが起こりました。データと計算資源が牽引するこの進化の先、次の数年後には一体どのような技術が私たちの日常を変えているのか......
その変遷を今後も注視していきたいと思います。