AIの正体とは？LLMが「考えている」ように見える驚きの仕組み（トークンと確率の話）
ChatGPTなどのLLM（大規模言語モデル）を使っていると、まるでAIが人間のように思考しているように感じることがあります。しかし、その舞台裏では、実は非常にシンプルな**「数学的な予測」**が繰り返されています。
本記事では、LLMの正体を「トークン」と「確率」という2つのキーワードで分かりやすく解説します。
より直感的に理解したい方は、こちらの解説動画もあわせてご覧ください！
1. AIは言葉を「数値」として処理している（トークン）
LLMは、私たちが使う文章をそのまま理解しているわけではありません。まず、テキストを**「トークン」**と呼ばれる小さな単位に分割します。
- トークンとは： 単語、文字、あるいは記号などの処理単位のこと。
- 例： 英語の "Hello" は1トークン、日本語の場合は1文字が1〜2トークンになることが多いです。
分割されたトークンは、最終的に**数値（ベクトル）**に変換されます。AIにとって、言葉は計算可能なデータの集まりなのです。
2. 次に来る言葉を当てる「確率分布」
LLMの本質を一言でいうと、**「次に来るトークンの確率を予測するモデル」**です。膨大なテキストデータを学習し、「この言葉の次には、どの言葉が来るのが自然か」という統計的なパターンを導き出します。
例えば、**「今日の天気は」**という入力があった場合、AIは次のような確率を計算します。
| 次のトークン候補 | 予測確率 |
|---|---|
| 晴れ | 42% |
| 雨 | 28% |
| 曇り | 18% |
| その他 | 12% |
AIはこの中から最も確率が高いもの（あるいは確率に基づいた選択）を選び、それを繰り返すことで自然な文章を作り上げています。つまり、AIは考えているのではなく、**「超高度な連想ゲーム」**をしていると言えます。
3. 現代AIの心臓部「Transformer」と「Attention」
なぜ今のAIはこんなに賢いのでしょうか？ それは**「Transformer（トランスフォーマー）」**という革新的なアーキテクチャのおかげです。
特に重要なのが**「Attention（アテンション）」**という仕組みです。
- Attention： 文章中のどの言葉が、今の言葉と深く関係しているかを計算します。
- 役割： 文脈を正しく理解し、遠く離れた言葉同士のつながりも考慮できるようになりました。
4. パラメータ数が「知能」を決める？
LLMの性能を語る際によく出てくるのが「パラメータ数」です。これはモデルの規模（脳の大きさのようなもの）を表します。
| モデル規模 | パラメータ数の目安 | 特徴 |
|---|---|---|
| Small | 〜10億 | 高速・低コスト・スマホ等でも動作 |
| Medium | 70億〜700億 | 精度とコストのバランスが良い（業務用途） |
| Large | 1000億〜 | 非常に高精度・最先端の複雑なタスク |
パラメータ数が多いほど、より複雑なパターンを学習できますが、動かすためのコストも高くなります。
まとめ：AIは確率で動く言語エンジン
- テキストをトークンに分け、数値として処理する
- **「次のトークンの確率予測」**を繰り返して文章を作る
- TransformerとAttentionが、文脈理解を支えている
- パラメータ数が多いほど、より高度な処理が可能になる
このように、LLMの正体は「統計と確率」に基づいた強力な言語エンジンです。
動画でより詳しく学ぶ
「もっと具体例を知りたい！」「図解で理解したい！」という方は、ぜひこちらの動画をチェックしてみてください。初心者の方でも10分でLLMの基本がマスターできる内容になっています。
▼ LLMの正体：トークンと確率で動く言語エンジン