はじめに
皆さんは生成AIを使っていますか？ 私はよく使っています。
公私問わず生成AIを便利に使っているのですが、その時にふと思いました。なぜ生成AIはあのように賢く振舞えるのだろうか、と。
なんとなくどういう仕組みで動いているのかは理解していますが、人に説明できるレベルかと聞かれると正直微妙です。
そこで、生成AIがどう動いているのか調べてみると、生成AIはLLM（大規模言語モデル）というAI技術が中核になっていることが分かりました。
今回は生成AIの基幹技術であるLLMについて詳しく調べました。その内容を私のようななんとなく知っているけど詳しくは知らない人向けに、なるべく分かりやすくなるようにまとめました。
まず、AIとは何かという定義からAIという全体像を解説します。次に、生成AIの基幹技術であるLLMの基本的な仕組みや使われている主要な技術にポイントに絞って解説します。
こうして全体、具体と段階的に解説することで、LLMとはどういう仕組みで動いているのかをざっくりと理解していただくことが本記事の目的です。
免責事項：分かりやすさを重視しているため、技術的な正確性に欠ける場合があります。ご了承ください。技術的に詳しく知りたい場合は参考資料をご覧ください。
AIとは
AI（人工知能）の定義
LLMや生成AIがどういうものかを理解するためには、AIとはどのようなものを指すのかを知る必要があります。そうすることで、大枠を掴むことが出来るからです。
まずはAIの技術としての定義から解説します。
| 出典 | 定義 |
|---|---|
| 広辞苑 | 推論・判断などの知的な機能を備えたコンピュータ・システム |
| 人工知能学会 | 人間と同じ知的作業をする機械を工学的に実現する技術 |
| デジタル大辞泉 | コンピューターで、記憶・推論・判断・学習など、人間の知的機能を代行できるようにモデル化されたソフトウエア・システム |
人工知能学会によれば、「AIとはそれだけで本1冊書けてしまうほど見解の異なるものである」そうで、詳しくは立ち入りません。
ここではあくまでも分かりやすさを重視して説明します。
AIとは、人間と同じように、言葉を理解したり、見聞きしたり、物事を推し量ったりするような知的な行為・行動を、コンピュータに行わせる技術のことです。
LLMとは
LLMとは、誤解を恐れずに言えば、言葉の理解に特化したAIのことです。最近では言語だけに限らず、画像や音声、動画なども扱うようになりました。
もう少し詳しく説明すると、膨大なテキストデータをディープラーニング技術で学習し、学習したデータを基に、言語を理解したり、生成したりする技術のことです。
LLMの仕組み
現在主流となっているLLMの仕組みについて解説します。LLMは、事前学習フェーズと推論フェーズの2つからなります。それぞれのフェーズを下記にて、かみ砕いて説明します。
事前学習フェーズ
- データ変換
- 学習（事前学習）
-
ステップ1：データ変換
前処理として、テキストデータをトークンという小さな塊に分割します。コンピュータが扱える数値データに変換しやすくするためです。
そして、そのトークンにしたテキストデータデータをコンピュータが処理できるように、数値データに変換します。 -
ステップ2：学習（事前学習）
ディープラーニング技術によって、数値に変換された膨大なテキストデータを学習することで、コンピュータが文章の文脈やニュアンス等を特徴として掴めるようになります。
事前学習は1度だけ行われる工程で、事前学習とも言います。この学習でLLMの知識のベースを作ります。
ここまでが、LLMがテキストを理解するための下地作りです。
人間で例えると、英語を読むために単語と文法を学習して、読解するための基礎を身に着ける段階です。
推論フェーズ
- データ変換
- 推論（文章読解と応答作成）
- 出力
-
ステップ1：データ変換
学習フェーズと同様に、入力されたテキストデータをトークン化して、数値データに変換します。 -
ステップ2：推論
数値化したテキストデータを、コンピュータが事前学習した知識を基に、読解を行います。文章の意味の解釈を行い理解します。
そして、理解した内容を基に、入力されたテキストデータに相応しい応答を生成します。
（この段階ではまだ数値データです）。 -
ステップ3：出力
生成されたデータを、人間が理解できるテキストデータに変換します。
人間に例えると、学んだ英語の知識を基に文章を読んで、感想を書いたり、人に話したりするようなことです。
LLMを支える技術
Transformerとは
次にLLMの性能を大幅に向上させたTransformerという技術を紹介します。
Transformerとは、最近のLMMの性能を大幅に向上させたディープラーニングの技術のことです。
Transformerの仕組み
Transformerはエンコーダーとデコーダーから成り立っていて、エンコーダーは入力データを理解するための処理を行い、デコーダーは目的に合わせた文を出力します。
この技術によって学習速度と文章の理解度、そして生成されるテキストの精度が大幅に向上しました。
GPTとは
先ほど挙げたTransformerという技術は、使用方法の違いから、いくつかの種類に分かれています。
その中でも現在主流なのがGPTというモデルです。
GPTは学習した膨大なデータを基にすることで、エンコーダーを使わずに、デコーダーだけで人間が書くような自然な文章を生成できることが特徴です。
自然な文章が生成できるのは、次単語予測を行っているためです。
この次単語予測とは、前の単語から次にくる確率の高い単語を予測することです。
例：
- いろはにほへと → ちりぬるを
- 吾輩は → 猫である
GPTの次単語予測の仕組みとしては、テキストデータから単語と単語の間の関連性について分析して、ある単語の次に来る単語の確率をデータ化します。これを膨大なテキストデータを基にあらゆる単語について、大量に分析することで、精度の高いあらゆる単語の次にくる単語の確率のデータを作成します。このデータを基に次単語予測をすることで、デコーダーだけでも高精度の予測を可能にし、自然な文章を生成する能力を獲得しています。
RAGとは
広義的な仕組みとしてのRAG
RAG（Retrieval-Augmented Generation）は、検索拡張生成と呼ばれる技術です。
LLMと組み合わせることで、回答精度を向上させます。
-
検索
ユーザーの質問や指示等のプロンプトを入力情報として、Web検索や文章検索、データベース等の外部ソースから関連する情報を検索して抽出します。 -
生成
検索して見つかった外部情報と入力情報を組み合わせることで、情報の精度を向上させた新しいプロンプトを生成します。このプロンプトをLLMに渡して、より正確な回答をLLMに生成させます。
RAGの仕組み図
ベクトルデータベースとは
ベクトルとは
ベクトルとは、簡単に言ってしまえば数字の並びのことです。
LLMの仕組みのデータ変換のところで扱った、トークンの数値化の際に、トークンをベクトル化しています。
ベクトルデータベースとは
ベクトル化されたデータは多次元空間上の座標であり、位置関係で単語間の意味の関連性を表します。
この座標データを保存するのがベクトルデータベースです。
ベクトルデータベースのイメージ
従来のデータベースとの違い
従来のデータベースでは、情報を表形式で保存しています。
一方、ベクトルデータベースでは、ベクトルという数値で情報を保存します。
ベクトルデータベースは上述した特徴から、情報検索において、従来のデータベースよりも、高速で高精度の情報検索が可能です。
おわりに
AIとは何かという定義から始まり、生成AIの基幹技術であるLLMの仕組み、そしてそれを支える技術について解説しました。
この解説記事で、LLMのより具体的な仕組みが理解できたのではないかと思います。
つたない説明でしたが、お読みいただきありがとうございました。
参考文献
AI（人工知能）
- 新村「広辞苑」 2018, p. 1505.
- 市瀬龍太郎「教養知識としてのAI〔第1回〕AIってなに？」
- Wikipedia「人工知能」
- コトバンク（デジタル大辞泉）「人工知能」
LLM
- LLM（大規模言語モデル）とは？生成AIとの違いや仕組みを解説
- 【初心者でもわかる】LLM（大規模言語モデル）とは？わかりやすく解説！
- LLMとは何か？AI時代を切り拓く最先端言語モデルの全貌
- LLMとは？生成AIやChatGPTとの違い・導入の注意点をわかりやすく解説
Transformer
- Transformerとは？自己回帰モデルの概要やBERTとの違いをわかりやすく解説
- Transformerとは？ 仕組みやメリットを初心者向けにわかりやすく解説
- トランスフォーマーとは？AI革命の核心技術を徹底解説
GPT
RAG
- RAGとは何か？生成AIの信頼性を高める技術解説
- 今さら聞けないRAGの仕組みを徹底解説
- RAGとは？生成AI精度向上の仕組みと活用法を完全解説
- 2025年版 RAGの教科書（Microsoft公式寄稿）
- RAGとは？仕組みや活用例、精度向上のノウハウを解説