この記事でわかること

生成AI（Generative AI）の内部処理の流れ
トークナイズ、エンベディング、LLMなどの用語を図解付きで解説
初心者でも理解できる、ChatGPTの仕組み
システム構成図と実際のフローを交えて学習

はじめに：なぜ生成AIの仕組みを学ぶべきか？

ChatGPTなどの登場で、生成AIは一気に日常に入り込んできました。

でも…

「なぜこんなに自然に答えられるの？」
「入力してから出力されるまで、何が起きているの？」

そう思ったことはありませんか？

この記事では、初心者でもわかるように、生成AIの舞台裏をステップごとに解説します！

実現する内容：この記事で学べること

ユーザーの入力から生成AIの出力までの処理の流れ
LLM（大規模言語モデル）による予測プロセスの理解
Pythonでのトークナイズ例の紹介
技術用語をかみ砕いて説明

準備・環境構築

本記事は概念理解が目的のため、特別な環境構築は不要です。
ただし、Pythonを使った簡単なコード例を一部紹介します。

前提知識（あると理解がスムーズです）：

Pythonの基本構文
APIの仕組みに関する基礎理解（初心者OK）

💡 生成AIが応答を返すまでの流れ

🧩ステップ解説：内部で何が起きているのか？

1. ユーザーの入力（プロンプト）

例：


「明日の東京の天気は？」

この文章が入力され、生成AIによる処理が始まります。

2. トークナイズ処理（Tokenization）

テキストをモデルが理解しやすいように「トークン」に分割します。

例：

「明日の東京の天気は？」 → ['明日', 'の', '東京', 'の', '天気', 'は', '？']

3. エンベディングベクトルの生成（Embedding）

トークンを数値ベクトルに変換します。

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese")
tokens = tokenizer("明日の天気は？", return_tensors="pt")
print(tokens)

この数値ベクトルが、モデルに渡されて処理されます。

4. LLM（大規模言語モデル）による予測

GPT-4などのLLMは、以下の特徴を持ちます：

文脈に基づいて自然な返答を予測
数十〜数千億のパラメータを持つ
Transformerアーキテクチャを採用

「この文脈では '晴れです。' が一番自然だな」と判断して返すイメージです。

5. 出力トークンの生成とスコアリング

モデルは次の語の候補を確率で出力します。

例：

候補:
  - 晴れです。（確率 72%）
  - 雨が降ります。（確率 21%）
  - わかりません。（確率 7%）

最もスコアの高いものが選ばれます。

6. デトークナイズ（自然言語化）

出力されたトークンを再び自然言語に組み立てます。

['晴れ', 'です', '。'] → 「晴れです。」

7. ユーザーに表示される

すべての処理が完了し、画面に表示されます。

補足：ユースケース・注意点・将来性

ユースケース例

チャットボット（LINE、Slackなど）
社内Q&Aシステム
コード補完（GitHub Copilotなど）

注意点・限界

ハルシネーション（事実でない内容を答える）
モデルの学習データに依存 → リアルタイム性に欠ける
日本語対応の質にばらつき（特に英語中心のモデル）

将来の展望

日本語特化LLMの登場（例：rinna、CyberAgentのLLM）
自律型AIエージェント（Agentic AI）によるタスク自動化
ローカルでの推論 → プライバシー対応・高速化

まとめ

この記事では以下のことを学びました：

生成AIの処理フローを段階的に理解した
トークナイザー、エンベディング、LLMなどの重要用語を把握した
実際にどうやってAIが文章を返すか、全体の仕組みを視覚的に理解できた

🙌 最後に

最後まで読んでいただきありがとうございます！
この記事が役に立ったと感じた方は、「いいね」 を押していただけると励みになります 😊
今後も生成AIやLLM関連の記事を投稿していきますので、ぜひフォローもよろしくお願いします！