無料のCoursera機械学習入門コース「Generative AI with Large Language Models」を受講しました。そろそろLLMや生成AIも理解しないと、という動機です。無料と言っても、ハンズオンをするには7000円ほど払う必要があるので注意してください(私は払いました)。ハンズオンはAWSで実施しますが、コース料金と別の課金はありません。
体系的に基礎を学べ、わかりやすい点はオススメです。以前受講したCoursera機械学習入門コースも良かったです。ただ、ところどころである程度知識ないと理解が浅くなるポイントもありました(例: RNNやTransformer)。知識なくてもそのままやってしまえばいいと思いますが、少し気持ち悪いかもしれません。逆に一つ一つをゼロから覚えていくと時間がいくらっても足りないと思います。

サマリ

以下がサマリです。あまりよく理解できていない点もどんどん飛ばしています。Coursera上ではIntermidiate Levelです。

項目	内容
目的	LLMと生成AIの基礎を学ぶため
期間(実績)	約3日
総時間(実績)	22時間弱
期間と期限	全3週
使用プログラム言語	Python
講義形式	ビデオ・スライド・クイズ・プログラム演習 ※基本英語だが、ビデオは日本語字幕あり

学んだことサマリ

基本的には数式もほとんど出てこないので、理解がしやすいです。今回の講座ではモデルの中身の説明はほとんどなく、いかに実用に持っていくかに焦点が当たっています。そのため、自身の目的のために独自データでのファインチューニング方法や、APIとの連携などの説明が多いです。一般人の財力では訓練なんて基本できない世界なので、どうしてもそのような講座になるのでしょう。

学習における注意点

まずは

どうせ無料なんで気楽に始めて、ハンズオンがやりたかったり修了証が欲しかったりしたら有償に切り替えればいいです。

前提知識

前提知識について色々書いていますが、あくまで個人体験に基づく私感です。

数学前提能力

数式はほとんど出てこないので、あまり気にしなくていいと思います。もちろん、深く理解するためには必要かとは思いますが、講義内容を理解するには、そんな必要ないと思いました。

英語前提能力

リンク先動画を字幕で見て理解できるかが前提英語能力です。ただ、日本語字幕や英語のTranscriptもあるのでハードルは高くないです。英語アレルギーのような人には、無理にこの講座にこだわらなくても世の中にはどこかに日本語の良い講座や勉強方法もあるはずです。

プログラミング前提知識

Pythonでのハンズオンがありますが、基本提供されているJupyterを実行するだけなので、そんなに必須ではありません。もちろんプログラムを読めて変更できれば、理解は深まります。

機械学習前提知識

以下の点を事前に知っていると理解が深まるとは思います。Tansformerに関しては、記事「[Transformer入門]TensorFlowチュートリアル: Transformer」のときに学習していたのが非常に役立ちました。

ニューラルネットワークやディープラーニング基礎
NLPの基礎(RNNやTransformer)
強化学習の基礎(私は全く知らなかったので理解がイマイチ)

学習内容

章単位概要

各章の概要です。ここでの「学習時間」は(コース公式に記載している時間ではなく)実際にかけた時間です。１度学習した後に、このブログ記事書いたり見直したりで追加で４時間くらいかけています。

週.章	内容	コンテンツ数	学習時間	備考
1	Generative AI use cases, project lifecycle, and model pre-training	25	6h
1.1.	Introduction to LLMs and the generative Al project lifecycle	17	4h	LLM概要, Prompt Engineering, Inference parameters, 生成AIのプロジェクトライフサイクル
1.2.	LLM pre-training and scaling laws	8	2h	LLM Pre-training方法, Scaling時考慮点, ドメイン適合
2	Fine-tuning and evaluating large language models	14	5h
2.1.	Fine-tuning LLMs with instruction	7	2h	Fine-tuning方法, 精度評価方法とベンチマーク
2.2.	Parameter efficient fine-tuning(PEFT)	7	3h	少ない演算能力でのFine-tuning方法
3	Reinforcement learning and LLM-powered applications	27	7.5h
3.1.	Reinforcement learning from human feedback	13	4h	LLMを実用的・効果的に使うための人間評価とその反映
3.2.	LLM-powered applications	12	3h	LLMを実用的・効果的にに使うためのシステム連携
3.3.	Course conclusion and ongoing reseach	2	0.5h	Responsible AIと講座まとめ

詳細内容

ここでの「Time」は(実際にかけた時間ではなく)コース公式に記載している時間です。

1. Generative AI use cases, project lifecycle, and model pre-training

以下が学習目標(公式をそのまま記載)

Discuss model pre-training and the value of continued pre-training vs fine-tuning

Define the terms Generative AI, large language models, prompt, and describe the transformer architecture that powers LLMs

Describe the steps in a typical LLM-based, generative AI model lifecycle and discuss the constraining factors that drive decisions at each step of model lifecycle

Discuss computational challenges during model pre-training and determine how to efficiently reduce memory footprint

Define the term scaling law and describe the laws that have been discovered for LLMs related to training dataset size, compute budget, inference requirements, and other factors.

1.1. Introduction to LLMs and the generative Al project lifecycle

No.	Title	Type	Time	Remarks
1	Course Introduction	Video	6min
2	Contributor Acknowledgments	Reading	10min	講師紹介。ほぼ全員AWS関係者。
3	Introduction - Week 1	Video	5min	1週目の概要
4	Generative AI & LLMs	Video	4min	パラメータ数, Prompt, Model, Competion
5	Intake Survey	App Item	1min
6	Have questions, issues or ideas? Join our Community!	App Item	5min
7	LLM use cases and tasks	Video	2min	ユースケース
8	Text generation before transformers	Video	2min	RNNの簡単紹介
9	Transformers architecture	Video	7min	TransformerとAttention
10	Generating text with transformers	Video	5min	Transformerでのテキスト生成
11	Transformers: Attention is all you need	Reading	10min	論文紹介
12	Prompting and prompt engineering	Video	5min	In-context LearningとZero/One/Few-shot inference
13	Generative configuration	Video	7min	Inference Pramaeters
14	Generative AI project lifecycle	Video	4min	生成AI プロジェクトライフサイクル
15	Introduction to AWS labs	Video	4min	AWS Lab紹介
16	Lab 1 walkthrough	Video	14min	1週目ハンズオンの説明
17	Lab 1 - Generative AI Use Case: Summarize Dialogue	App Item	2h	Prompt EngineeringとInference parameter調整

1.2. LLM pre-training and scaling laws

No.	Title	Type	Time	Remarks
1	Pre-training large language models	Video	9min	Autoencoding, Autoregressive, Seq2Seq
2	Computational challenges of training LLMs	Video	10min	BFLOAT16でのQantization
3	Optional video: Efficient multi-GPU compute strategies	Video	8min
4	Scaling laws and compute-optimal models	Video	8min	演算予算・データサイズ・モデルサイズのトレードオフ
5	Pre-training for domain adaptation	Video	5min	ドメイン固有の訓練とBloombergGPT
6	Week 1 quiz	Graded Assignment	1h	10問で簡単
7	Week 1 resources	Reading	10min	論文リンク

2. Fine-tuning and evaluating large language models

以下が学習目標(公式をそのまま記載)

Describe how fine-tuning with instructions using prompt datasets can improve performance on one or more tasks

Define catastrophic forgetting and explain techniques that can be used to overcome it

Define the term Parameter-efficient Fine Tuning (PEFT)

Explain how PEFT decreases computational cost and overcomes catastrophic forgetting

Explain how fine-tuning with instructions using prompt datasets can increase LLM performance on one or more tasks

2.1. Fine-tuning LLMs with instruction

No.	Title	Type	Time	Remarks
1	Introduction - Week 2	Video	4min
2	Instruction fine-tuning	Video	7min	In-context Learningの限界とFine-Tuning
3	Fine-tuning on a single task	Video	3min	単一タスク(文章要約等)への適合
4	Multi-task instruction fine-tuning	Video	8min	FLAN(Fine-tuned LAnguage Net)
5	Scaling instruct models	Reading	10min	FLANの論文紹介
6	Model evaluation	Video	10min	ROUGEとBLEU
7	Benchmarks	Video	5min	GLUE, SuperGLUE, HELM, MMLU, BIG-Bench

2.2. Parameter efficient fine-tuning(PEFT)

No.	Title	Type	Time	Remarks
1	Parameter efficient fine-tuning (PEFT)	Video	4min	Selective, Reparametererization, Additive
2	PEFT techniques 1: LoRA	Video	8min	LoRAでの低ランク近似(Reparametererization)
3	PEFT techniques 2: Soft prompts	Video	7min	Prompt tuning(Additive)
4	Lab 2 walkthrough	Video	17min
5	Lab 2 - Fine-tune a generative AI model for dialogue summarization	App Item	2h	Full Fine-tuneとPEFT(LoRA)とROUGE評価
6	Week 2 quiz	Graded Assignment	1h	簡単な10問
7	Week 2 Resources	Reading	10min	論文リンク集

3. Reinforcement learning and LLM-powered applications

以下が学習目標(公式をそのまま記載)

Describe how RLHF uses human feedback to improve the performance and alignment of large language models

Explain how data gathered from human labelers is used to train a reward model for RLHF

Define chain-of-thought prompting and describe how it can be used to improve LLMs reasoning and planning abilities

Discuss the challenges that LLMs face with knowledge cut-offs, and explain how information retrieval and augmentation techniques can overcome these challenges

3.1. Reinforcement learning from human feedback

No.	Title	Type	Time	Remarks
1	Introduction - Week 3	Video	4min
2	Aligning models with human values	Video	3min	Helpful, Honest, Harmlessの３Hを考慮
3	Reinforcement learning from human feedback (RLHF)	Video	8min	LLMモデルと別にReward Modelを作って学習
4	RLHF: Obtaining feedback from humans	Video	6min	訓練データの作り方
5	RLHF: Reward model	Video	2min	RLHFの報酬モデルと損失関数
6	RLHF: Fine-tuning with reinforcement learning	Video	3min	強化学習のFine-Tuning
7	Optional video: Proximal policy optimization	Video	13min	PPO。数式あり難しい。
8	RLHF: Reward hacking	Video	6min	Rewardが望ましくない状況の回避
9	KL divergence	Reading	10min	強化学習での最適化
10	Scaling human feedback	Video	6min	Constitutioanl AIでの自動訓練。RLAIF(Reinforcement Learning from AI Feedback)
11	Lab 3 walkthrough	Video	18min
12	[IMPORTANT] Reminder about end of access to Lab Notebooks	Reading	2min
13	Lab 3 - Fine-tune FLAN-T5 with reinforcement learning to generate more-positive summaries	App Item	2h	RLHFで有害情報を除くようなFine Tuning。

3.2. LLM-powered applications

No.	Title	Type	Time	Remarks
1	Model optimizations for deployment	Video	7min	Distillation, Quantization, Pruning
2	Generative AI Project Lifecycle Cheat Sheet	Video	2min	LLMと向き合うCheat Sheet
3	Using the LLM in applications	Video	9min	RAG(Retrieval Augmented Generation)で外部連携
4	Interacting with external applications	Video	4min	E-CommerceのBotの例
5	Helping LLMs reason and plan with chain-of-thought	Video	5min	主に計算問題に対して思考途中経過も含めて学習
6	Program-aided language models (PAL)	Video	7min	PALのフローなど
7	ReAct: Combining reasoning and action	Video	9min	PropmtでReasoningとAction PlanningのChain of thoughtを結合
8	ReAct: Reasoning and action	Reading	10min	ReActの論文リンクと簡易紹介
9	LLM application architectures	Video	5min	LLMを使ったアプリのアーキテクチャ
10	Optional video: AWS Sagemaker JumpStart	Video	5min
11	Week 3 Quiz	Graded Assignment	1h	少し難しくて２回もリトライ
12	Week 3 resources	Reading	10min	各学習内容の論文やGitHubへのリンク

3.3. Course conclusion and ongoing reseach

No.	Title	Type	Time	Remarks
1	Responsible AI	Video	9min	Toxicity, Hullucinations, Intellectual Property
2	Course conclusion	Video	3min	LLM関連としてHotな研究領域紹介など