第1部：基礎理論と土台となる技術
目的： LLMと生成AIを理解するための自然言語処理・トランスフォーマーの基本を習得
| 単元 | 内容 |
|---|---|
| 1.1 | 自然言語処理の基礎：トークン化、形態素解析、文脈依存の意味理解 |
| 1.2 | 分散表現：Word2Vec, GloVe, FastText、意味空間における語の埋め込み |
| 1.3 | トランスフォーマーの基本構造：Self-Attention、残差接続、LayerNormの役割 |
| 1.4 | LLMの全体像：BERT（双方向）・GPT（自己回帰）・T5（統一モデル）の構造と用途比較 |
| 1.5 | 言語モデルの評価指標：パープレキシティ、BLEU、ROUGE、ログ尤度とその解釈 |
第2部：生成AIと大規模モデルの設計
目的： LLMの学習構造と最先端の多モーダル・多言語生成技術を理解
| 単元 | 内容 |
|---|---|
| 2.1 | 自己回帰言語モデル：GPT系列におけるDecoder-Only構造の意義 |
| 2.2 | 事前学習とファインチューニング：マスク付き（BERT）と因果言語モデリング（GPT） |
| 2.3 | インストラクション・チューニングとRLHF：ChatGPTに代表される人間中心学習の仕組み |
| 2.4 | 多言語・多モーダルモデル：LLAVA, Flamingo, Geminiなどの設計と応用分野 |
| 2.5 | モデルスケーリング法則：パラメータ数・データ量・計算量の関係と性能予測 |
第3部：LLMの実装と応用演習
目的： 実践的にLLMを扱い、独自アプリケーションやプロトタイプを作成
| 単元 | 内容 |
|---|---|
| 3.1 | Hugging Face Transformersでのモデルロードと推論（GPT-2, BERT, T5など） |
| 3.2 | トークナイザの理解と独自コーパスへの適用（Tokenizer Training） |
| 3.3 | 軽量ファインチューニング技術：LoRA、PEFT、Adapterなどの活用 |
| 3.4 | RAG（Retrieval Augmented Generation）：外部知識を利用した生成モデル構築 |
| 3.5 | LLMのAPI活用とUI統合：OpenAI、Claude、Cohere＋GradioやStreamlitでのUI開発 |
| 3.6 | プロンプトエンジニアリング：Few-shot, Zero-shot, Chain-of-Thought等の設計と評価 |