生成AIを理解するうえで最初の壁になるのが、
LLM / Embedding / 推論 / 学習 といった「AIの基礎概念」です。
AI プラクティショナーでは、これらを“深く”ではなく “広く・構造的に” 理解することが求められます。
この記事では、AIの基礎を AWSの文脈で俯瞰しながら構造化 して整理します。
🧭 1. AIの基礎は「4つの柱」で理解できる
AI プラクティショナーの基礎領域は、以下の4つに整理できます。
- LLM(大規模言語モデル)
- トークンとEmbedding(意味の数値化)
- 推論(モデルを使う)
- 学習(モデルを作る)
この4つを理解すると、Bedrock / SageMaker の役割や RAG の仕組みが一気に理解しやすくなります。
🧩 2. LLMとは何か(“予測モデル”として理解する)
LLMは「大量のテキストを学習した予測モデル」です。
- 次に来る単語を予測する
- 文脈を理解して応答を生成する
- 大量のデータからパターンを学習している
Claude / Llama / GPT などのモデルは、
“知識を持っている”のではなく “次の単語を予測している” だけです。
この理解が、幻覚やバイアスの理解にもつながります。
🔡 3. トークンとは何か(単語ではなく“意味のかたまり”)
LLMは文章を トークン という単位に分解して扱います。
- 英語:単語がそのままトークンになりやすい
- 日本語:形態素解析で細かく分割される
- 記号・数字もトークンになる
例:
「生成AIを使う」は以下のように分解されることがあります。
- 生成
- AI
- を
- 使う
トークン数は コスト・速度・性能に直結する ため、AWSの推論コストを理解するうえでも重要です。
🧭 4. Embeddingとは何か(“意味をベクトル化する”技術)
Embedding は 意味を数値ベクトルに変換する技術 です。
- 「犬」と「猫」は近い位置
- 「犬」と「自動車」は遠い位置
- 類似度検索(RAG)で使われる
- 検索の精度を上げるための基盤技術
RAGを理解するうえで、Embedding の理解は必須です。
⚙️ 5. 推論とは何か(モデルを“使う”フェーズ)
推論は 学習済みモデルを使って応答を生成するフェーズ です。
AWSでは主に以下で行われます。
- Bedrock(Claude / Llama / Titan など)
- SageMaker Endpoint(カスタムモデル)
推論の特徴:
- GPUを使う
- トークン数でコストが決まる
- レイテンシ(応答速度)が重要
- キャッシュやRAGで高速化できる
AI プラクティショナーでは、推論の仕組みを“ざっくり”理解していれば十分です。
🏗️ 6. 学習とは何か(モデルを“作る”フェーズ)
学習は モデルを作る・調整するフェーズ です。
AWSでは主に以下で行われます。
- SageMaker(学習・評価・デプロイ)
- SageMaker JumpStart(事前学習モデル)
学習の特徴:
- 大量のデータが必要
- GPUを長時間使う
- コストが高い
- 企業では「部分的な調整(PEFT)」が主流
AI プラクティショナーでは、
“学習は重い処理で、企業は部分調整を使う” という理解があれば十分です。
🔧 7. ファインチューニングの種類(PEFT / LoRA / QLoRA)
企業が実際に使うファインチューニングは以下の3つです。
- LoRA:モデルの一部だけを学習
- QLoRA:量子化して軽量化
- PEFT:効率的な部分学習の総称
ポイントはただひとつ:
企業はモデル全量学習をほぼやらない。
必要な部分だけを軽量に調整する。
Bedrockでも「ファインチューニング機能」が提供されており、
この考え方がそのまま使われています。
⚠️ 8. AIの限界(幻覚・バイアス・コンテキスト長)
AI プラクティショナーでは、AIの限界を理解することが重要です。
- 幻覚:存在しない情報を生成する
- バイアス:学習データの偏りが反映される
- コンテキスト長:一度に扱える情報量に限界がある
- 最新情報を知らない:学習時点のデータに依存する
これらは AIを業務に使うときのリスク管理 に直結します。
🗒️ 9. まとめ:AIの基礎は“構造化”すると理解しやすい
AI プラクティショナーの基礎領域は、以下の4つに整理できます。
- LLM:予測モデル
- トークン / Embedding:意味の数値化
- 推論:モデルを使う
- 学習:モデルを作る
この4つを理解すると、
Bedrock / SageMaker / RAG / Responsible AI といった試験範囲が一気に繋がります。
🔗 関連リンク
以前投稿したクラウドプラクティショナー編はこちら:
AI プラクティショナーの妄想設計編はこちら: