【AI進化の歴史：第12回】2018年：自然言語のブレイクスルー：BERTとGPT-1
【AI進化の歴史を辿る連載】
※本連載は、AIの誕生から現在までの歴史を1年ずつ追いながら、技術の変遷とドラマをドキュメンタリー小説風に解き明かしていきます。
1. プロローグ：言語AIの「大航海時代」の幕開け
2018年。前年に誕生した「Transformer（トランスフォーマー）」という強力な推進力を得て、自然言語処理（NLP）の世界はかつてない激動の時代へと突入しました。
それまで「翻訳」や「要約」といった特定のタスクごとにゼロから作られていたAIモデルたちは、汎用的な知能の土台を持つ新しい存在へと生まれ変わりました。
その大潮流の先頭で火花を散らしたのが、Googleが放った「BERT」と、新興勢力OpenAIが送り出した「GPT-1」です。この設計思想を異にする2つの巨星が、現代のLLM（大規模言語モデル）の進化のロードマップを決定づけることになります。
2. パラダイムシフト：事前学習とファインチューニング
2018年に確立された、現代言語AIの最大の基本方針が、「事前学習（Pre-training）とファインチューニング（Fine-tuning）」の2段階プロセスです。
それまでは、例えば「小説の感情分析AI」を作るためには、最初から感情分析のためのデータだけを使ってモデルを学習させていました。しかし、これではデータ数が足りず、言葉の複雑なニュアンスを理解できませんでした。
新しいアプローチでは、これを大きく2つのステップに分割します。
※図：大量の生データから汎用モデルを作り、個別タスクに微調整する事前学習とファインチューニングのパイプライン（AI生成ダイアグラム）
-
事前学習 (Pre-training / 義務教育):
ラベルの貼られていない膨大なテキスト（WikipediaやWebページ全体）を使い、モデルに「言語そのもののルール（文法や単語の意味）」を自律的に学習させる。 -
ファインチューニング (Fine-tuning / 専門教育):
事前学習を終えた「物知りなモデル」に対し、特定のタスク（例：感情分析や質問回答）の少量のデータを与えて、特定の用途に特化するように微調整する。
このアプローチにより、AIモデルの開発効率と理解精度は天文学的なスケールで向上したのです。
3. OpenAIの先制攻撃：デコーダ型「GPT-1」の奇襲
2018年6月、OpenAIは論文『Improving Language Understanding by Generative Pre-Training』を発表し、「GPT-1（Generative Pre-trained Transformer）」を公開しました。
GPT-1が採用したのは、Transformerの「Decoder（デコーダ）」部分です。
その設計思想は極めてシンプルで、「単方向（左から右へ）のアテンション」を用いて、文脈の続きとして「次に打つべき最も確率の高い単語」を予測し続けることでした。
【GPT-1の単方向アテンション】
入力文：「ディープラーニングは、AIの可能性を［ ］」
GPT-1は左側にある「ディープラーニングは、AIの可能性を」という過去の文脈だけを頼りに、
次にくる言葉（例：「広げた」）を予測する。未来（右側）の単語は一切見ることができない。
この「次の単語を予測する」という一見単純なタスクを、約1.1億個のパラメータを持つ巨大なネットワークで繰り返すことで、GPT-1は単なる文法の理解を超えて、極めて流暢な文章を「生成」する能力の片鱗を見せ始めたのです。
4. Googleの対抗：エンコーダ型「BERT」の衝撃
OpenAIの発表からわずか4ヶ月後の2018年10月、検索の巨人Googleが歴史的なカウンターパンチを繰り出します。それが論文『BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding』で発表された「BERT（バート）」です。
BERTは、Transformerの「Encoder（エンコーダ）」部分を採用し、GPTとは完全に対照的な「双方向（左右両方向）のアテンション」を組み込んでいました。
※図：BERTの双方向アテンション（両方向からの文脈理解）とGPT-1の単方向アテンション（左から右への予測）の設計思想の違い（AI生成ダイアグラム）
BERTの事前学習を支えたのが、「Masked Language Model（MLM / 穴埋め問題）」という画期的な手法です。
文中の単語の15%をランダムに「[MASK]」という記号で隠し、その前後の両方の文脈から隠された単語が何かを予測させます。
例えば、「ディープラーニングは、［MASK］の可能性を広げた」という文に対し、左側の文脈と右側の文脈（「の可能性を広げた」）の両方を同時に重ね合わせてアテンションを通すことで、隠されたのが「AI」であることを極めて正確に推測します。
この双方向のアテンションにより、BERTは「文脈の深い意味理解」において圧倒的な力を発揮し、自然言語処理の主要な11のタスクにおいて当時の世界最高精度（SOTA）をすべて塗り替えるという、歴史的な大勝利を飾りました。GoogleはこのBERTを自社の検索アルゴリズムに統合し、検索クエリの「検索意図」の理解度を劇的に進化させることになります。
5. エピローグ：理解のエンコーダと、生成のデコーダ
2018年、BERTとGPT-1という2つの巨星の激突は、言語AIの進化の枝を大きく二つに分岐させました。
- BERT（エンコーダ型）: 文脈を双方向から深く読み解き、「理解・分類・検索」を極める道。
- GPT（デコーダ型）: 左から右へ文脈を紡ぎ、人間のような「対話・創作・生成」を極める道。
BERTの圧倒的な精度の前に、一時NLPの主流派はエンコーダ型（理解型）に傾くかのように見えました。
しかし、OpenAIの共同創業者サム・アルトマンやチーフサイエンティストのイリヤ・サツケヴァーらは、デコーダ型（生成型）の持つ「次の言葉を予測し続ける能力」の先にこそ、真の汎用知能（AGI）への道があると確信していました。
彼らは、GPTのモデル規模をさらに拡大し、インターネット全体のテキストデータを食わせるという、業界が「無謀」と笑ったスケールアップの賭けに出ます。
次回、2019年。牙を剥いたOpenAIの野心作が、世界を恐れさせたために「公開延期」を余儀なくされる事件が発生します。
「【AI進化の歴史：第13回】2019年：牙を剥く巨大言語モデル：GPT-2の衝撃と公開延期」へ。
知能のスケールアップが、現実の社会を揺るがし始めます。