最近はAIの進化が凄まじいですよね...
自分は最近OpenAIのChatGPTに課金したんですが、もう手放せませんｗ
でも皆さん、AIは確かに便利ですが、AIの仕組みって理解していますか？
ちなみに、自分は全く知りませんでした！
なので、今回AIについての理解を深める良い方法を思いついたので、
実践していきたいと思います！
LLMについて
まず、今回お話していくAIとは、「生成AI」のことを指します。
AIというと、機械学習やディープラーニングなども入ってくるので、
今回は生成AIに限った話にさせてください。
まず、生成AIと切っても切り離せない存在が、LLM（大規模言語モデル）です。
生成AIとは、以下のようなイメージで成り立っています。
生成AI
├─ 🧠 LLM（テキスト生成）
│ └─ ChatGPT、Claude、Gemini など
├─ 🎨 画像生成AI（例：DALL·E、Stable Diffusion）
├─ 🎵 音声生成AI（例：Voicebox、Voicery）
├─ 🎥 動画生成AI（例：Runway、Pika）
つまり、生成AIは色々なものを生成するAIのことで、
LLMは文章だけを生成するAIということです。
LLMの進化
では、LLMの進化について見ていきましょう！
まず初めに、ここでは大きく分けて７つの段階があります。
| 番号 | 技術名 | 内容 |
|---|---|---|
| 1 | Seq2Seq モデル | 翻訳や要約など「入力 → 出力」の基本構造の原点。RNNベースで登場し、自然言語処理に革命を起こした。 |
| 2 | Attention 機構 | 入力文の中で「重要な単語」に注目できる仕組み。文脈理解や意味保持を向上させた。 |
| 3 | Transformer アーキテクチャ | RNNを使わず並列処理を可能にし、LLMの高速学習と高精度化を実現した画期的構造。 |
| 4 | Byte Pair Encoding（BPE）などのトークナイゼーション | 単語をサブワード単位で処理することで、未知語に強くなり、語彙数も削減できた。 |
| 5 | Pretraining + Fine-tuning 戦略 | 汎用的な事前学習のあと、特定タスクに合わせて微調整。BERTやGPTで広く採用。 |
| 6 | Self-supervised Learning（自己教師あり学習） | 正解ラベルなしで学習可能。例：次の単語を予測させることで、大量データ学習が可能に。 |
| 7 | Scaled Training（超巨大モデルの学習） | パラメータ数とデータ量を増やせば性能も向上するという「スケーリング法則」が発見された。 |
| 8 | RLHF（人間のフィードバックによる強化学習） | ChatGPTで採用。人間の好む返答へとチューニングし、対話性能を大幅向上させた。 |
AIと勉強していく方法について
では、ここからが本題です。
正直、上の表の内容を一つ一つググれば理解を深めることができます。
しかし、実際にAIがどのように考えているのか、自分の興味のある質問で試してみたくはありませんか？
そのプロンプトとしては
以下の形式に従ってください。各ユーザー入力に対し、Encoder処理とDecoder出力に分けて、｛自分が知りたい技術名｝の形式で応答してください。
としたあとに、適当な質問をしてみてください。
質問の例：プロゲーマーは幼少期に、共通している事柄はありますか
すると、そのモデルがどのようなことができ、どんなことに注力しているのかを
対話形式で知ることができます。
例えば、Attention機構とはなんだ？気になるなぁ...と思ったとします。
お手持ちのChatGPTなどに上記のプロンプトで聞いてみてください。
（新しいチャットで聞くほうが適切な回答が帰ってきます。）
ちなみに、以下はAttention機構について上記のプロンプトを使用した際の出力内容です。
[Input: プロゲーマーは幼少期に、共通している事柄はありますか]
[Encoder処理]
→ トークン列: [プロゲーマー, は, 幼少期, に, 、, 共通, し, て, いる, 事柄, は, あり, ます, か]
→ 意図抽出：プロゲーマーの幼少期における環境・習慣・特性などの共通点を尋ねている
→ 文構造：主語＋時期指定＋抽象的属性の有無を問う形式の疑問文
[Attention重み可視化]
→ 「幼少期」: 0.26
→ 「共通」: 0.23
→ 「事柄」: 0.20
→ 「プロゲーマー」: 0.17
→ その他: 0.14以下
※ 特に「幼少期」「共通」「事柄」に注意が集中 → 時期的特徴と属性に焦点
[Decoder出力]
→ 多くのプロゲーマーには、幼少期からゲームに触れる環境があったという共通点があります。
→ さらに、「集中力の高さ」「勝ち負けへのこだわり」「親の理解」なども共通して見られる傾向があります。
→ 回答：はい、複数の共通した特徴が見られます。
[Decoder Ready]
実際、Attention機構は各トークンごとに分けられた単語について、重み付けを行い、
より人間的な返答を自然言語で行えるようになりました。
まとめ
AIの仕組みはAIに聞こう！
ということで、紹介したプロンプトを参考に、AIについての知識を深めていただければと思います！
もし何か問題がございましたら、ご指摘等いただけると幸いです。