はじめに
AIを使えることと、AIを作れることは違う。
ChatGPTのAPIを呼び出したり、Pythonで機械学習ライブラリを動かしたりすることは、それほど難しくなくなった。
しかし、ニューラルネットワークがなぜ学習できるのか、Transformerはどのように文章を処理しているのか、画像生成AIはなぜノイズから画像を生成できるのかを説明するには、数学とアルゴリズムの理解が必要になる。
そこで役立つのが、斎藤康毅氏の『ゼロから作るDeep Learning』シリーズである。
2026年6月には第6巻のLLM編が刊行され、全6冊となった。
本シリーズの最大の特徴は、AIの仕組みを学ぶだけでなく、Pythonを使ってアルゴリズムを実装することにある。
この記事では、全6冊を学習すると具体的に何ができるようになるのかを整理する。
特に以下の3点を重視する。
- どのような数学とアルゴリズムを習得できるのか
- PythonでどのようなAIを自作できるのか
- 習得した技術を実務でどのように応用できるのか
なお、書籍で実際に実装する内容と、追加学習によって実現できる応用例は区別して紹介する。
- 全6冊で習得できる技術
第1巻:ニューラルネットワーク
画像を認識・分類するAIを作れるようになる。
主な学習内容は以下のとおり。
- パーセプトロン
- ニューラルネットワーク
- 活性化関数
- 損失関数
- 勾配降下法
- 誤差逆伝播法
- CNN
- 最適化アルゴリズム
第2巻:自然言語処理
単語を数値化し、文章を生成するAIを作れるようになる。
- word2vec
- 単語のベクトル表現
- コサイン類似度
- RNN
- LSTM
- GRU
- seq2seq
- Attention
第3巻:ディープラーニングフレームワーク
PyTorchのような小規模な計算フレームワークを自作できるようになる。
- 計算グラフ
- 自動微分
- 高階微分
- 誤差逆伝播
- テイラー展開
- ニュートン法
- テンソル演算
- 最適化アルゴリズム
第4巻:強化学習
試行錯誤によって最適な行動を学習するAIを作れるようになる。
- バンディット問題
- マルコフ決定過程
- ベルマン方程式
- 動的計画法
- モンテカルロ法
- TD学習
- Q学習
- DQN
- 方策勾配法
- Actor-Critic
第5巻:生成モデル
ノイズから新しい画像を生成するAIを作れるようになる。
- 正規分布
- 最尤推定
- 混合ガウスモデル
- EMアルゴリズム
- KLダイバージェンス
- VAE
- 拡散モデル
- U-Net
- 条件付き画像生成
第6巻:大規模言語モデル
Transformerを実装し、小規模なLLMを学習させられるようになる。
- BPEトークナイザ
- Embedding
- Self-Attention
- Multi-Head Attention
- Transformer
- GPT
- 事前学習
- SFT
- GRPO
- DPO
- RoPE
- KVキャッシュ
ここから、それぞれの巻を詳しく解説する。
- 第1巻でできるようになること
2.1 ニューラルネットワークを自作できる
ニューラルネットワークの基本計算は、重み付き和と活性化関数によって表現できる。
基本式:
"y = f(w*x + b)"
ここで、
- x:入力
- w:重み
- b:バイアス
- f:活性化関数
- y:出力
である。
第1巻では、こうした演算を組み合わせてニューラルネットワークを実装する。
さらに、予測と正解の違いを表す損失関数を定義し、勾配降下法によって重みを更新する。
勾配降下法:
"w_new = w_old - eta * (∂L/∂w)"
- w_new:更新後の重み
- w_old:更新前の重み
- eta:学習率
- L:損失関数
- ∂L/∂w:重みに対する損失関数の偏微分
損失関数を小さくする方向に重みを更新していく。
この式をPythonで実装することで、AIが学習する仕組みを理解できる。
2.2 習得できる技術
- AND・OR・NAND・XORの論理演算を再現する
- シグモイド関数を実装する
- ReLU関数を実装する
- Softmax関数を実装する
- 損失関数を計算する
- 数値微分を実装する
- 勾配降下法を実装する
- 誤差逆伝播法を実装する
- CNNを実装する
- Dropoutで過学習を抑制する
- Adamなどの最適化アルゴリズムを利用する
2.3 実際に作れるもの
代表的なのは、MNISTによる手書き数字認識AIである。
画像を入力すると、0から9までの数字のどれに該当するかを予測する。
さらに、学習率やニューラルネットワークの構造を変更し、分類精度の違いを比較できる。
例えば、次のような実験ができる。
- 隠れ層の数を変更する
- ニューロン数を変更する
- 活性化関数を変更する
- 学習率を変更する
- SGDとAdamを比較する
- CNNと全結合ネットワークを比較する
2.4 実務への応用例
- 電子部品の外観検査
- 不良品の画像分類
- 計測データからの異常判定
- 製品の品質予測
- 電子回路の性能予測
- センサデータの分類
例えば、電子部品の画像と良品・不良品のラベルを用意すれば、画像分類モデルを学習させられる。
ただし、実務用の外観検査システムを作るには、追加の学習データやモデル設計、未知の画像に対する評価が必要になる。
- 第2巻でできるようになること
3.1 文章を数値として扱える
コンピュータが文章を処理するには、単語を数値に変換する必要がある。
第2巻では、word2vecなどを利用して単語をベクトルに変換する。
例えば、単語Aと単語Bをそれぞれベクトルa、bで表現すれば、コサイン類似度によって近さを計算できる。
コサイン類似度:
"similarity(a, b) = (a・b) / (|a|*|b|)"
- a・b:ベクトルの内積
- |a|:ベクトルaの大きさ
- |b|:ベクトルbの大きさ
単語同士の意味的な関係を、数学的に比較するための基礎になる。
3.2 習得できる技術
- 共起行列を作る
- 単語ベクトルを学習する
- CBOWを実装する
- Skip-gramを実装する
- Negative Samplingを利用する
- 単語の類似度を計算する
- RNNを実装する
- LSTMを実装する
- GRUの仕組みを理解する
- seq2seqを実装する
- Attentionを実装する
3.3 時系列データを扱える
RNNでは、過去の情報を利用して現在の状態を計算する。
RNNの基本式:
"h_t = tanh(W_xx_t + W_hh_(t-1) + b)"
- x_t:現在の入力
- h_t:現在の隠れ状態
- h_(t-1):直前の隠れ状態
- W_x:入力に対する重み
- W_h:隠れ状態に対する重み
- b:バイアス
この仕組みによって、文章だけでなく、時系列データも扱える。
例えば、温度センサの過去の測定値を入力し、将来の温度を予測するモデルに応用できる。
3.4 実際に作れるもの
- 単語の類似度を計算するプログラム
- word2vecによる単語ベクトル
- RNNによる文章生成
- seq2seqによる足し算の学習
- Attention付きseq2seqによる日付形式変換
3.5 実務への応用例
- 技術文書の分類
- 故障報告書の類似文章検索
- 問い合わせ文章の分類
- センサデータの時系列予測
- 設備の状態変化の予測
- 過去の測定値を利用した将来予測
例えば、過去の故障報告書をベクトル化すれば、新しく発生した故障に似た事例を検索する仕組みに応用できる。
現在のLLMではTransformerが主流だが、RNNやLSTMを学ぶことには、系列データの処理を理解するという価値がある。
- 第3巻でできるようになること
4.1 自動微分エンジンを作れる
第3巻の最大の特徴は、自動微分を実装することである。
例えば、次の関数を考える。
"y = sin(x^2)"
合成関数の微分を使うと、
"dy/dx = 2xcos(x^2)"
となる。
通常は人間が微分するが、自動微分では計算グラフを使って微分値を自動的に求める。
PyTorchなどのフレームワークが内部で行っている計算の基本原理を理解できる。
4.2 習得できる技術
- 計算グラフを構築する
- 合成関数を自動微分する
- 誤差逆伝播を自動化する
- 二階微分を計算する
- 高階微分を計算する
- テイラー展開を扱う
- ニュートン法を実装する
- テンソル演算を実装する
- ニューラルネットワークの層を実装する
- 最適化アルゴリズムを実装する
- 学習済みモデルを保存する
4.3 テイラー展開とニュートン法を理解できる
テイラー展開は、複雑な関数を多項式で近似するための数学である。
代表的な式:
"f(x+h) ≒ f(x) + f'(x)*h + (1/2)*f''(x)*h^2"
hが十分に小さい場合、関数の変化を微分係数から近似できる。
また、ニュートン法では、微分を利用して方程式の解を求める。
"x_new = x_old - f(x_old)/f'(x_old)"
このように、微分はニューラルネットワークの学習だけでなく、数値計算や最適化にも利用される。
4.4 実際に作れるもの
代表的な成果物は、DeZeroという小規模な深層学習フレームワークである。
具体的には、
- 自動微分ライブラリ
- ニューラルネットワーク用の演算クラス
- 最適化アルゴリズム
- CNN
- RNN
- 正弦波の時系列予測モデル
などを実装できる。
4.5 実務への応用例
電子回路や機械設計におけるパラメータ最適化への応用が考えられる。
例えば、設計パラメータをx1、x2、x3とすると、性能指標Lの勾配は次のようになる。
"grad(L) = [∂L/∂x1, ∂L/∂x2, ∂L/∂x3]^T"
微分可能なモデルであれば、この勾配を利用してパラメータを調整できる。
例えば、電子回路の性能指標を損失関数として定義すれば、微分によって設計パラメータの変更方向を検討できる。
ただし、実際の回路シミュレータがそのまま自動微分に対応しているとは限らない。
微分可能な近似モデルの構築や、別の最適化手法が必要になる場合もある。
特に、数学の微分や偏微分が実際のソフトウェアでどのように利用されているのか理解したい人に適している。
- 第4巻でできるようになること
5.1 AIに試行錯誤させられる
第4巻では、強化学習を扱う。
強化学習では、AIが行動し、その結果として得られた報酬を利用して学習する。
例えば、ゲームAIにおいて、どの行動を選べば最終的に高い報酬が得られるかを学習できる。
5.2 習得できる技術
- バンディット問題を解く
- ε-greedy法を実装する
- マルコフ決定過程を理解する
- ベルマン方程式を解く
- 動的計画法を実装する
- モンテカルロ法を利用する
- TD学習を実装する
- Q学習を実装する
- DQNを実装する
- 方策勾配法を実装する
- Actor-Criticを実装する
5.3 数式で何が理解できるのか
強化学習の代表的な式がベルマン方程式である。
最適行動価値関数では、現在の報酬と将来の報酬を考慮する。
ベルマン最適方程式:
"Q*(s,a) = E[r + gammamax_a' Q(s',a') | s,a]"
ここで、
- s:現在の状態
- a:行動
- r:報酬
- s':次の状態
- gamma:割引率
- Q*:最適行動価値関数
- E:期待値
である。
将来得られる報酬も考慮して、現在の行動を評価する。
5.4 実際に作れるもの
- バンディット問題を解くAI
- グリッドワールドを攻略するAI
- Q学習によるエージェント
- DQNによるゲームAI
- 方策勾配法によるエージェント
5.5 実務への応用例
- 生産スケジュールの最適化
- ロボットの行動計画
- 設備の制御パラメータ調整
- 在庫補充の意思決定
- 物流ルートの選択
- シミュレーション環境での自動制御
例えば、設備の状態を観測し、複数の操作候補から最適な行動を選択するモデルが考えられる。
ただし、実際の設備を強化学習で制御するには、安全制約や物理モデルの検証が必要になる。
また、一般的な最適化問題では、数理最適化や古典制御の方が適している場合もある。
- 第5巻でできるようになること
6.1 画像生成AIを作れる
第5巻では、確率分布を学習し、新しいデータを生成する技術を学ぶ。
分類AIは入力されたデータが何であるかを予測する。
一方、生成AIは学習した分布を利用して新しいデータを作る。
6.2 習得できる技術
- 正規分布を計算する
- 最尤推定を実装する
- 多次元正規分布を扱う
- 混合ガウスモデルを実装する
- EMアルゴリズムを実装する
- KLダイバージェンスを計算する
- VAEを実装する
- 拡散モデルを実装する
- U-Netを実装する
- 条件付き画像生成を理解する
- Classifier-Free Guidanceを利用する
6.3 正規分布を理解できる
生成モデルを理解するためには、確率分布の知識が必要になる。
例えば、正規分布の確率密度関数は次のようになる。
"p(x) = 1/sqrt(2pisigma^2) * exp(-(x-mu)^2/(2*sigma^2))"
- x:確率変数
- mu:平均
- sigma:標準偏差
- pi:円周率
- exp:指数関数
このような確率分布の知識が、生成モデルの理解につながる。
6.4 拡散モデルを理解できる
拡散モデルでは、データにノイズを加える過程と、ノイズを取り除く過程を扱う。
代表的な定式化では、元データにノイズを加える操作を次のように表現できる。
"x_t = sqrt(alpha_bar_t)*x_0 + sqrt(1-alpha_bar_t)*epsilon"
- x_0:元のデータ
- x_t:時刻tのノイズを含むデータ
- alpha_bar_t:ノイズ量を決める係数
- epsilon:標準正規分布に従うノイズ
生成時には、学習したモデルを利用してノイズを段階的に取り除く。
この仕組みが、画像生成AIの基本原理の一つになっている。
6.5 実際に作れるもの
- 正規分布によるデータ生成
- 混合ガウスモデル
- VAEによる画像生成
- 拡散モデルによる画像生成
- U-Netによるノイズ予測
- 条件付き生成モデル
6.6 実務への応用例
- 製造業の不良画像の合成
- 検査用画像データの生成
- ノイズ除去
- 画像修復
- 生成モデルによる異常検知
- シミュレーション用データの生成
例えば、外観検査で不良画像が不足している場合、生成モデルによって学習用画像を補う研究が考えられる。
ただし、生成されたデータが現実の物理現象を正しく再現しているかは、別途検証する必要がある。
- 第6巻でできるようになること
7.1 Transformerを自作できる
第6巻では、ChatGPTなどのLLMを支えるTransformerの仕組みを学ぶ。
重要なのがAttentionである。
Attentionの基本式:
"Attention(Q,K,V) = softmax((Q*K^T)/sqrt(d_k))*V"
ここで、
- Q:Query
- K:Key
- V:Value
- K^T:Kの転置行列
- d_k:Keyベクトルの次元数
である。
Attentionを使うことで、トークン同士の関連性を計算できる。
7.2 習得できる技術
- トークナイザを作る
- BPEを実装する
- Embeddingを実装する
- Self-Attentionを実装する
- Multi-Head Attentionを実装する
- Transformerを実装する
- GPT系の言語モデルを作る
- 事前学習を実行する
- SFTを実行する
- GRPOを実装する
- DPOを実装する
- RoPEを実装する
- KVキャッシュを実装する
- AdamWを実装する
- 混合精度による学習を理解する
7.3 言語モデルの数学を理解できる
自己回帰型の言語モデルは、それまでのトークンから次のトークンの確率を予測する。
"P(x_t | x_1, x_2, ..., x_(t-1))"
文章全体の確率は、次のように表現できる。
"P(x_1, ..., x_T) = prod(t=1..T, P(x_t | x_1, ..., x_(t-1)))"
ここで、prodは指定した範囲の値を掛け合わせる積の演算を表す。
第6巻では、こうした数式を実際のプログラムとして実装する。
7.4 実際に作れるもの
第6巻では、CodeBot、StoryBot、WebBotという3段階のチャットボット開発を題材にLLMの開発を学ぶ。
CodeBot
コードを題材にした小規模な言語モデルを構築する。
- GPT系モデルの実装
- トークナイザの実装
- 事前学習
- SFT
- GRPO
StoryBot
物語生成を題材に、より高度なモデル構造を学ぶ。
- RoPE
- SwiGLU
- RMSNorm
- KVキャッシュ
- AdamW
- DPO
WebBot
Web系データやモデルの大規模化に関連する技術を学ぶ。
- Flash Attention
- GQA
- MoE
- 分散学習
- メモリ効率化
- 学習処理の高速化
WebBotでは、大規模化に必要な技術の理解や実装上の検討も重要になる。
7.5 実務への応用例
- 小規模な独自LLMの開発
- 特定分野の文章生成モデル
- 既存LLMの追加学習
- SFTによる回答形式の調整
- 事後学習によるモデルの改善
- Transformerの構造変更と性能比較
ただし、ChatGPTと同等の性能のLLMを一から学習するには、大量のデータと計算資源が必要になる。
また、RAG、MCP、AIエージェントの実装や運用は別途学ぶ必要がある。
- 全6冊で習得できる数学
本シリーズで登場する主な数学をまとめる。
8.1 微分・偏微分
主に第1巻と第3巻で学ぶ。
代表的な式:
"dy/dx = lim(h→0) (f(x+h)-f(x))/h"
"w_new = w_old - eta*(∂L/∂w)"
できるようになることは次のとおり。
- 損失関数を微分する
- ニューラルネットワークの勾配を求める
- 合成関数を微分する
- 誤差逆伝播を実装する
- 自動微分を実装する
- 二階微分を計算する
- ニュートン法を実装する
8.2 線形代数
主に第1巻、第2巻、第3巻、第6巻で利用する。
代表的な式:
"y = W*x + b"
- ベクトル演算
- 行列の積
- 転置行列
- テンソル演算
- 内積
- コサイン類似度
- Attentionの行列計算
- 特異値分解による次元削減
ニューラルネットワークでは、大量の重み付き和を行列演算として一括計算する。
そのため、線形代数はAIの計算を理解するうえで重要になる。
8.3 確率・統計
主に第4巻、第5巻、第6巻で利用する。
代表的な式:
"E[X] = sum(x_i*p_i)"
"Var(X) = E[(X-E[X])^2]"
- 確率分布
- 期待値
- 正規分布
- 多次元正規分布
- 最尤推定
- KLダイバージェンス
- 確率的な行動選択
- 確率モデルの学習
- 生成モデル
8.4 最適化
全巻を通して重要になる。
代表的な式:
"theta_new = theta_old - eta*grad(L)"
- 勾配降下法
- SGD
- Momentum
- Adam
- AdamW
- ニュートン法
- 方策勾配法
数学を重点的に学ぶのであれば、第1巻、第3巻、第5巻が特に重要になる。
ただし、本シリーズは数学の定理を厳密に証明するための教科書ではない。
数学の式をAIのアルゴリズムに結び付け、Pythonで実装することに重点が置かれている。
- 実務でどのように役立つのか
9.1 製造業
関連する巻は第1巻、第3巻、第5巻である。
応用例として、次のようなものが考えられる。
- 製品の外観分類
- 不良品画像の検出
- 計測値を用いた品質予測
- 不良品画像の合成
- 設計パラメータの最適化
例えば、製造工程の温度、圧力、時間などを入力し、製品品質を予測するモデルを作ることが考えられる。
9.2 電子回路設計
関連する巻は第1巻、第3巻である。
例えば、MOSトランジスタのチャネル幅W、チャネル長L、ドレイン電流I_Dから回路特性を予測するモデルを考える。
電圧利得の予測:
"A_v = f1(W,L,I_D)"
帯域幅の予測:
"f_BW = f2(W,L,I_D)"
ここで、
- A_v:電圧利得
- f_BW:帯域幅
- W:チャネル幅
- L:チャネル長
- I_D:ドレイン電流
である。
シミュレーション結果を教師データとして、回路特性を近似するモデルを作ることが考えられる。
さらに、目標とする電圧利得や帯域幅との誤差を損失関数として定義すれば、設計パラメータの最適化にも応用できる。
例えば、正規化などによって各性能指標の尺度をそろえたうえで、
"Loss = (A_v-A_target)^2 + lambda*(f_BW-f_target)^2"
と定義できる。
- A_target:目標電圧利得
- f_target:目標帯域幅
- lambda:各誤差の重要度を調整する係数
ただし、この予測モデルが物理法則を完全に理解しているわけではないため、設計範囲外での予測には注意が必要である。
9.3 計測機器
関連する巻は第1巻、第2巻、第3巻である。
- センサデータの異常分類
- 温度変化の予測
- 振動データの解析
- 装置の状態予測
- 時系列データのモデリング
例えば、過去の測定値から次の測定値を予測するモデルを考える。
"x_pred_(t+1) = f(x_t, x_(t-1), ..., x_(t-n))"
第2巻のRNNやLSTMは、こうした時系列予測へ応用できる。
9.4 競馬AI
関連する巻は第1巻、第4巻である。
- 過去の競走成績から勝率を推定する
- 特徴量を利用して予測モデルを作る
- ニューラルネットワークを学習させる
- 意思決定のアルゴリズムを研究する
ただし、競馬のような表形式データでは、LightGBM、XGBoost、CatBoostも重要な選択肢になる。
また、利益を目的とするなら、勝率の予測だけでなく期待値やバックテストも必要である。
単勝馬券の期待利益を考えると、次のように表現できる。
"E[profit] = p*O - 1"
- p:予測した勝率
- O:単勝オッズ
- E[profit]:賭け金1単位あたりの期待利益
期待利益が正であっても、実際に利益が出るとは限らない。
予測確率の校正や、時系列を守ったバックテストが必要になる。
- 6冊を読んでも別途学習が必要なこと
全6冊を読破すると、深層学習の主要なアルゴリズムを幅広く理解できる。
しかし、機械学習やAI開発の実務をすべて網羅するわけではない。
追加学習が必要な代表例は以下のとおり。
10.1 表形式データの機械学習
- LightGBM
- XGBoost
- CatBoost
- ランダムフォレスト
- 決定木
- ロジスティック回帰
10.2 データ分析・統計
- pandas
- SQL
- データ前処理
- 仮説検定
- 信頼区間
- 時系列分析
- 交差検証
- バックテスト
10.3 AIアプリケーション開発
- RAG
- MCP
- AIエージェント
- Web API
- FastAPI
- データベース連携
- モデルのデプロイ
- モデルの監視
10.4 大規模AI開発
- GPU最適化
- 分散学習
- 大規模データ処理
- MLOps
- セキュリティ
- 推論サーバの運用
第6巻でも分散学習やGPUの効率的な利用に関連する技術を扱うが、実際の大規模システムを運用するためには追加学習が必要になる。
つまり、全6冊はAIアルゴリズムの理解を深める教材であり、AIアプリケーション開発のすべてを習得する教材ではない。
- 目的別のおすすめ学習順序
全6冊を必ず順番に読む必要はない。
目的に合わせて読む巻を選ぶ方が効率的である。
11.1 AIの基本原理を理解したい
第1巻
ニューラルネットワーク、損失関数、勾配降下法、誤差逆伝播法を学ぶ。
11.2 微分や偏微分を深く理解したい
第1巻・第3巻
ニューラルネットワークの学習と自動微分を理解する。
11.3 自然言語処理を学びたい
第1巻・第2巻
単語ベクトル、RNN、LSTM、Attentionを学ぶ。
11.4 PyTorchの内部構造を理解したい
第1巻・第3巻
計算グラフと自動微分エンジンを実装する。
11.5 ゲームAIや強化学習を学びたい
第1巻・第4巻
ベルマン方程式、Q学習、DQN、方策勾配法を学ぶ。
11.6 画像生成AIを作りたい
第1巻・第5巻
VAE、拡散モデル、U-Netを学ぶ。
11.7 ChatGPTやLLMの仕組みを理解したい
第1巻・第6巻
必要に応じて第2巻も学ぶ。
Transformer、GPT、事前学習、SFT、GRPO、DPOを学ぶ。
11.8 数学を中心に学びたい
第1巻・第3巻・第5巻
微分、偏微分、自動微分、確率分布、最適化を重点的に理解する。
- 全6冊を読破すると到達できる4つのレベル
レベル1:AIの原理を説明できる
ニューラルネットワーク、RNN、Transformer、拡散モデル、強化学習の仕組みを数式で説明できる。
例えば、
- なぜ誤差逆伝播法で学習できるのか
- なぜRNNは過去の情報を扱えるのか
- なぜAttentionはトークン間の関係を計算できるのか
- なぜ拡散モデルはノイズから画像を生成できるのか
- なぜ強化学習は将来の報酬を考慮できるのか
といった疑問を、数学とアルゴリズムから説明できるようになる。
レベル2:小規模なAIを自作できる
- 手書き数字認識AI
- 単語ベクトル学習プログラム
- 文章生成AI
- 自動微分エンジン
- 強化学習エージェント
- VAE
- 拡散モデル
- Transformer
- 小規模LLM
これらをPythonで実装するための知識が身に付く。
レベル3:AIのアルゴリズムを改造できる
例えば、以下のような実験ができる。
- 活性化関数を変更する
- 損失関数を変更する
- 学習率を変更する
- 最適化アルゴリズムを変更する
- ニューラルネットワークの層数を変更する
- Attentionの構造を変更する
- 生成モデルのパラメータを変更する
変更前後の性能を比較し、学習結果がなぜ変化したのかを考察できる。
レベル4:AIの論文を再現するための基礎ができる
新しいAIアルゴリズムの数式を読み、Pythonで実装し、小規模な検証実験を行うための基礎が身に付く。
例えば、論文に登場する損失関数やモデル構造を読み取り、自分で実装して実験するための準備ができる。
ただし、最新論文の再現や大規模なAIモデルの学習には、さらに専門的な知識と計算資源が必要になる。
- まとめ
ゼロから作るDeep Learning全6冊を学習すると、AIの内部アルゴリズムを数式で理解し、Pythonで実装する能力を身に付けられる。
各巻の到達目標をまとめる。
第1巻:ニューラルネットワーク
ニューラルネットワークを自作し、画像を分類できる。
第2巻:自然言語処理
単語をベクトルに変換し、文章を生成できる。
第3巻:フレームワーク
自動微分エンジンと小規模なディープラーニングフレームワークを自作できる。
第4巻:強化学習
報酬を利用して行動を学習するAIを作れる。
第5巻:生成モデル
確率モデルと拡散モデルを利用して画像を生成できる。
第6巻:LLM
Transformerを実装し、小規模なLLMを学習させられる。
本シリーズで得られる最大の成果は、AIの数式をプログラムに変換し、自分で計算結果を検証できるようになることである。
AIを単に利用するだけなら、必ずしも6冊すべてを読む必要はない。
しかし、AIのアルゴリズムを理解し、モデルの内部構造を変更したり、新しい手法を検証したりしたいのであれば、体系的に学ぶ価値がある。
特にエンジニアにとっては、数学の知識が実際のAIシステムでどのように使われるのかを理解する機会になるだろう。
参考文献
- 斎藤康毅『ゼロから作るDeep Learning』オライリー・ジャパン、2016年
- 斎藤康毅『ゼロから作るDeep Learning ❷ 自然言語処理編』オライリー・ジャパン、2018年
- 斎藤康毅『ゼロから作るDeep Learning ❸ フレームワーク編』オライリー・ジャパン、2020年
- 斎藤康毅『ゼロから作るDeep Learning ❹ 強化学習編』オライリー・ジャパン、2022年
- 斎藤康毅『ゼロから作るDeep Learning ❺ 生成モデル編』オライリー・ジャパン、2024年
- 斎藤康毅『ゼロから作るDeep Learning ❻ LLM編』オライリー・ジャパン、2026年
公式サイト・サンプルコード
- "オライリー・ジャパン" (https://www.oreilly.co.jp/)
- "第1巻 GitHub" (https://github.com/oreilly-japan/deep-learning-from-scratch)
- "第2巻 GitHub" (https://github.com/oreilly-japan/deep-learning-from-scratch-2)
- "第3巻 GitHub" (https://github.com/oreilly-japan/deep-learning-from-scratch-3)
- "第4巻 GitHub" (https://github.com/oreilly-japan/deep-learning-from-scratch-4)
- "第5巻 GitHub" (https://github.com/oreilly-japan/deep-learning-from-scratch-5)
- "第6巻 GitHub" (https://github.com/oreilly-japan/deep-learning-from-scratch-6)
- "第6巻 公式書籍情報・目次" (https://www.oreilly.co.jp/books/9784814401611/)
第1巻:ニューラルネットワーク
画像を認識・分類するAIを作れるようになる。
主な学習内容は以下のとおり。
- パーセプトロン
- ニューラルネットワーク
- 活性化関数
- 損失関数
- 勾配降下法
- 誤差逆伝播法
- CNN
- 最適化アルゴリズム
第2巻:自然言語処理
単語を数値化し、文章を生成するAIを作れるようになる。
- word2vec
- 単語のベクトル表現
- コサイン類似度
- RNN
- LSTM
- GRU
- seq2seq
- Attention
第3巻:ディープラーニングフレームワーク
PyTorchのような小規模な計算フレームワークを自作できるようになる。
- 計算グラフ
- 自動微分
- 高階微分
- 誤差逆伝播
- テイラー展開
- ニュートン法
- テンソル演算
- 最適化アルゴリズム
第4巻:強化学習
試行錯誤によって最適な行動を学習するAIを作れるようになる。
- バンディット問題
- マルコフ決定過程
- ベルマン方程式
- 動的計画法
- モンテカルロ法
- TD学習
- Q学習
- DQN
- 方策勾配法
- Actor-Critic
第5巻:生成モデル
ノイズから新しい画像を生成するAIを作れるようになる。
- 正規分布
- 最尤推定
- 混合ガウスモデル
- EMアルゴリズム
- KLダイバージェンス
- VAE
- 拡散モデル
- U-Net
- 条件付き画像生成
第6巻:大規模言語モデル
Transformerを実装し、小規模なLLMを学習させられるようになる。
- BPEトークナイザ
- Embedding
- Self-Attention
- Multi-Head Attention
- Transformer
- GPT
- 事前学習
- SFT
- GRPO
- DPO
- RoPE
- KVキャッシュ
ここから、それぞれの巻を詳しく解説する。
- 第1巻でできるようになること
2.1 ニューラルネットワークを自作できる
ニューラルネットワークの基本計算は、重み付き和と活性化関数によって表現できる。
$$
y=f(wx+b)
$$
ここで、
- x:入力
- w:重み
- b:バイアス
- f:活性化関数
- y:出力
である。
第1巻では、こうした演算を組み合わせてニューラルネットワークを実装する。
さらに、予測と正解の違いを表す損失関数を定義し、勾配降下法によって重みを更新する。
$$
w_{\mathrm{new}}
w_{\mathrm{old}}
\eta\frac{\partial L}{\partial w}
$$
この式をPythonで実装することで、AIが学習する仕組みを理解できる。
2.2 習得できる技術
- AND・OR・NAND・XORの論理演算を再現する
- シグモイド関数を実装する
- ReLU関数を実装する
- Softmax関数を実装する
- 損失関数を計算する
- 数値微分を実装する
- 勾配降下法を実装する
- 誤差逆伝播法を実装する
- CNNを実装する
- Dropoutで過学習を抑制する
- Adamなどの最適化アルゴリズムを利用する
2.3 実際に作れるもの
代表的なのは、MNISTによる手書き数字認識AIである。
画像を入力すると、0から9までの数字のどれに該当するかを予測する。
さらに、学習率やニューラルネットワークの構造を変更し、分類精度の違いを比較できる。
2.4 実務への応用例
- 電子部品の外観検査
- 不良品の画像分類
- 計測データからの異常判定
- 製品の品質予測
- 電子回路の性能予測
- センサデータの分類
ただし、実務用の外観検査システムを作るには、追加の学習データやモデル設計が必要になる。
- 第2巻でできるようになること
3.1 文章を数値として扱える
コンピュータが文章を処理するには、単語を数値に変換する必要がある。
第2巻では、word2vecなどを利用して単語をベクトルに変換する。
例えば、単語Aと単語Bをそれぞれベクトルa、bで表現すれば、コサイン類似度によって近さを計算できる。
$$
\mathrm{similarity}(\mathbf{a},\mathbf{b})
\frac{\mathbf{a}\cdot\mathbf{b}}
{|\mathbf{a}||\mathbf{b}|}
$$
単語同士の意味的な関係を、数学的に比較するための基礎になる。
3.2 習得できる技術
- 共起行列を作る
- 単語ベクトルを学習する
- CBOWを実装する
- Skip-gramを実装する
- Negative Samplingを利用する
- 単語の類似度を計算する
- RNNを実装する
- LSTMを実装する
- GRUの仕組みを理解する
- seq2seqを実装する
- Attentionを実装する
3.3 時系列データを扱える
RNNでは、過去の情報を利用して現在の状態を計算する。
$$
h_t=\tanh(W_xx_t+W_hh_{t-1}+b)
$$
この仕組みによって、文章だけでなく、時系列データも扱える。
3.4 実際に作れるもの
- 単語の類似度を計算するプログラム
- word2vecによる単語ベクトル
- RNNによる文章生成
- seq2seqによる足し算の学習
- Attention付きseq2seqによる日付形式変換
3.5 実務への応用例
- 技術文書の分類
- 故障報告書の類似文章検索
- 問い合わせ文章の分類
- センサデータの時系列予測
- 設備の状態変化の予測
- 過去の測定値を利用した将来予測
現在のLLMではTransformerが主流だが、RNNやLSTMを学ぶことには、系列データの処理を理解するという価値がある。
- 第3巻でできるようになること
4.1 自動微分エンジンを作れる
第3巻の最大の特徴は、自動微分を実装することである。
例えば、次の関数を考える。
$$
y=\sin(x^2)
$$
合成関数の微分を使うと、
$$
\frac{dy}{dx}
2x\cos(x^2)
$$
となる。
通常は人間が微分するが、自動微分では計算グラフを使って微分値を自動的に求める。
PyTorchなどのフレームワークが内部で行っている計算の基本原理を理解できる。
4.2 習得できる技術
- 計算グラフを構築する
- 合成関数を自動微分する
- 誤差逆伝播を自動化する
- 二階微分を計算する
- 高階微分を計算する
- テイラー展開を扱う
- ニュートン法を実装する
- テンソル演算を実装する
- ニューラルネットワークの層を実装する
- 最適化アルゴリズムを実装する
- 学習済みモデルを保存する
4.3 実際に作れるもの
代表的な成果物は、DeZeroという小規模な深層学習フレームワークである。
具体的には、
- 自動微分ライブラリ
- ニューラルネットワーク用の演算クラス
- 最適化アルゴリズム
- CNN
- RNN
- 正弦波の時系列予測モデル
などを実装できる。
4.4 実務への応用例
電子回路や機械設計におけるパラメータ最適化への応用が考えられる。
例えば、設計パラメータをx1、x2、x3とすると、性能指標Lの勾配は次のようになる。
$$
\nabla L=
\begin{bmatrix}
\frac{\partial L}{\partial x_1}
\frac{\partial L}{\partial x_2}
\frac{\partial L}{\partial x_3}
\end{bmatrix}
$$
微分可能なモデルであれば、この勾配を利用してパラメータを調整できる。
特に、数学の微分や偏微分が実際のソフトウェアでどのように利用されているのか理解したい人に適している。
- 第4巻でできるようになること
5.1 AIに試行錯誤させられる
第4巻では、強化学習を扱う。
強化学習では、AIが行動し、その結果として得られた報酬を利用して学習する。
例えば、ゲームAIにおいて、どの行動を選べば最終的に高い報酬が得られるかを学習できる。
5.2 習得できる技術
- バンディット問題を解く
- ε-greedy法を実装する
- マルコフ決定過程を理解する
- ベルマン方程式を解く
- 動的計画法を実装する
- モンテカルロ法を利用する
- TD学習を実装する
- Q学習を実装する
- DQNを実装する
- 方策勾配法を実装する
- Actor-Criticを実装する
5.3 数式で何が理解できるのか
強化学習の代表的な式がベルマン方程式である。
最適行動価値関数では、現在の報酬と将来の報酬を考慮する。
$$
Q^*(s,a)
\mathbb{E}
\left[
r+
\gamma\max_{a'}Q^*(s',a')
\mid s,a
\right]
$$
ここで、
- s:現在の状態
- a:行動
- r:報酬
- s':次の状態
- γ:割引率
となる。
5.4 実際に作れるもの
- バンディット問題を解くAI
- グリッドワールドを攻略するAI
- Q学習によるエージェント
- DQNによるゲームAI
- 方策勾配法によるエージェント
5.5 実務への応用例
- 生産スケジュールの最適化
- ロボットの行動計画
- 設備の制御パラメータ調整
- 在庫補充の意思決定
- 物流ルートの選択
- シミュレーション環境での自動制御
ただし、実際の設備を強化学習で制御するには、安全制約や物理モデルの検証が必要になる。
- 第5巻でできるようになること
6.1 画像生成AIを作れる
第5巻では、確率分布を学習し、新しいデータを生成する技術を学ぶ。
分類AIは入力されたデータが何であるかを予測する。
一方、生成AIは学習した分布を利用して新しいデータを作る。
6.2 習得できる技術
- 正規分布を計算する
- 最尤推定を実装する
- 多次元正規分布を扱う
- 混合ガウスモデルを実装する
- EMアルゴリズムを実装する
- KLダイバージェンスを計算する
- VAEを実装する
- 拡散モデルを実装する
- U-Netを実装する
- 条件付き画像生成を理解する
- Classifier-Free Guidanceを利用する
6.3 数式で何が理解できるのか
例えば、正規分布の確率密度関数は次のようになる。
$$
p(x)
\frac{1}{\sqrt{2\pi\sigma^2}}
\exp\left(
-\frac{(x-\mu)^2}{2\sigma^2}
\right)
$$
このような確率分布の知識が、生成モデルの理解につながる。
また、拡散モデルの代表的な定式化では、元データにノイズを加える操作を次のように表現できる。
$$
x_t
\sqrt{\bar{\alpha}_t}x_0
+
\sqrt{1-\bar{\alpha}_t}\epsilon
$$
生成時には、このノイズを段階的に取り除くモデルを利用する。
6.4 実際に作れるもの
- 正規分布によるデータ生成
- 混合ガウスモデル
- VAEによる画像生成
- 拡散モデルによる画像生成
- U-Netによるノイズ予測
- 条件付き生成モデル
6.5 実務への応用例
- 製造業の不良画像の合成
- 検査用画像データの生成
- ノイズ除去
- 画像修復
- 生成モデルによる異常検知
- シミュレーション用データの生成
ただし、生成されたデータが現実の物理現象を正しく再現しているかは、別途検証する必要がある。
- 第6巻でできるようになること
7.1 Transformerを自作できる
第6巻では、ChatGPTなどのLLMを支えるTransformerの仕組みを学ぶ。
重要なのがAttentionである。
$$
\mathrm{Attention}(Q,K,V)
\mathrm{softmax}
\left(
\frac{QK^T}{\sqrt{d_k}}
\right)V
$$
ここで、
- Q:Query
- K:Key
- V:Value
- d_k:Keyベクトルの次元数
である。
Attentionを使うことで、トークン同士の関連性を計算できる。
7.2 習得できる技術
- トークナイザを作る
- BPEを実装する
- Embeddingを実装する
- Self-Attentionを実装する
- Multi-Head Attentionを実装する
- Transformerを実装する
- GPT系の言語モデルを作る
- 事前学習を実行する
- SFTを実行する
- GRPOを利用する
- DPOを利用する
- RoPEを実装する
- KVキャッシュを実装する
- AdamWを利用する
- 混合精度による学習を理解する
7.3 言語モデルの数学を理解できる
自己回帰型の言語モデルは、それまでのトークンから次のトークンの確率を予測する。
$$
P(x_t\mid x_1,x_2,\ldots,x_{t-1})
$$
文章全体の確率は次のように表現できる。
$$
P(x_1,\ldots,x_T)
\prod_{t=1}^{T}
P(x_t\mid x_1,\ldots,x_{t-1})
$$
第6巻では、こうした数式を実際のプログラムとして実装する。
7.4 実際に作れるもの
第6巻では、3種類のチャットボットを題材にLLMの開発を学ぶ。
CodeBot
コードを題材にした小規模な言語モデルを構築する。
- GPT系モデルの実装
- 事前学習
- SFT
- GRPO
StoryBot
物語生成を題材に、より高度なモデル構造を学ぶ。
- RoPE
- SwiGLU
- RMSNorm
- KVキャッシュ
- DPO
WebBot
Web系データや大規模化に関連する技術を学ぶ。
- Flash Attention
- GQA
- MoE
- 分散学習
- メモリ効率化
7.5 実務への応用例
- 小規模な独自LLMの開発
- 特定分野の文章生成モデル
- 既存LLMの追加学習
- SFTによる回答形式の調整
- 事後学習によるモデルの改善
- Transformerの構造変更と性能比較
ただし、ChatGPTと同等の性能のLLMを一から学習するには、大量のデータと計算資源が必要になる。
また、RAG、MCP、AIエージェントの実装や運用は別途学ぶ必要がある。
- 全6冊で習得できる数学
本シリーズで登場する主な数学をまとめる。
微分・偏微分
主に第1巻と第3巻で学ぶ。
できるようになることは次のとおり。
- 損失関数を微分する
- ニューラルネットワークの勾配を求める
- 合成関数を微分する
- 誤差逆伝播を実装する
- 自動微分を実装する
- 二階微分を計算する
- ニュートン法を実装する
線形代数
主に第1巻、第2巻、第3巻、第6巻で利用する。
- ベクトル演算
- 行列の積
- 転置行列
- テンソル演算
- 内積
- コサイン類似度
- Attentionの行列計算
- 特異値分解による次元削減
確率・統計
主に第4巻、第5巻、第6巻で利用する。
- 確率分布
- 期待値
- 正規分布
- 多次元正規分布
- 最尤推定
- KLダイバージェンス
- 確率的な行動選択
- 確率モデルの学習
- 生成モデル
最適化
全巻を通して重要になる。
- 勾配降下法
- SGD
- Momentum
- Adam
- AdamW
- ニュートン法
- 方策勾配法
数学を重点的に学ぶのであれば、第1巻、第3巻、第5巻が特に重要になる。
ただし、本シリーズは数学の定理を厳密に証明するための教科書ではない。
数学の式をAIのアルゴリズムに結び付け、Pythonで実装することに重点が置かれている。
- 実務でどのように役立つのか
製造業
関連する巻は第1巻、第3巻、第5巻である。
応用例として、次のようなものが考えられる。
- 製品の外観分類
- 不良品画像の検出
- 計測値を用いた品質予測
- 不良品画像の合成
- 設計パラメータの最適化
電子回路設計
関連する巻は第1巻、第3巻である。
例えば、MOSトランジスタのチャネル幅W、チャネル長L、ドレイン電流IDから回路特性を予測するモデルを考える。
$$
\begin{bmatrix}
A_v
f_{\mathrm{BW}}
\end{bmatrix}
f(W,L,I_D)
$$
ここで、
- Av:電圧利得
- fBW:帯域幅
- W:チャネル幅
- L:チャネル長
- ID:ドレイン電流
である。
シミュレーション結果を教師データとして、回路特性を近似するモデルを作ることが考えられる。
ただし、この予測モデルが物理法則を完全に理解しているわけではないため、設計範囲外での予測には注意が必要である。
計測機器
関連する巻は第1巻、第2巻、第3巻である。
- センサデータの異常分類
- 温度変化の予測
- 振動データの解析
- 装置の状態予測
- 時系列データのモデリング
例えば、過去の測定値から次の測定値を予測するモデルを考える。
$$
\hat{x}_{t+1}
f(x_t,x_{t-1},\ldots,x_{t-n})
$$
第2巻のRNNやLSTMは、こうした時系列予測へ応用できる。
競馬AI
関連する巻は第1巻、第4巻である。
- 過去の競走成績から勝率を推定する
- 特徴量を利用して予測モデルを作る
- ニューラルネットワークを学習させる
- 意思決定のアルゴリズムを研究する
ただし、競馬のような表形式データでは、LightGBM、XGBoost、CatBoostも重要な選択肢になる。
また、利益を目的とするなら、勝率の予測だけでなく期待値やバックテストも必要である。
- 6冊を読んでも別途学習が必要なこと
全6冊を読破すると、深層学習の主要なアルゴリズムを幅広く理解できる。
しかし、機械学習やAI開発の実務をすべて網羅するわけではない。
追加学習が必要な代表例は以下のとおり。
表形式データの機械学習
- LightGBM
- XGBoost
- CatBoost
- ランダムフォレスト
- 決定木
- ロジスティック回帰
データ分析・統計
- pandas
- SQL
- データ前処理
- 仮説検定
- 信頼区間
- 時系列分析
- 交差検証
- バックテスト
AIアプリケーション開発
- RAG
- MCP
- AIエージェント
- Web API
- FastAPI
- データベース連携
- モデルのデプロイ
- モデルの監視
大規模AI開発
- GPU最適化
- 分散学習
- 大規模データ処理
- MLOps
- セキュリティ
- 推論サーバの運用
つまり、全6冊はAIアルゴリズムの理解を深める教材であり、AIアプリケーション開発のすべてを習得する教材ではない。
- 目的別のおすすめ学習順序
全6冊を必ず順番に読む必要はない。
目的に合わせて読む巻を選ぶ方が効率的である。
AIの基本原理を理解したい
第1巻
ニューラルネットワーク、損失関数、勾配降下法、誤差逆伝播法を学ぶ。
微分や偏微分を深く理解したい
第1巻・第3巻
ニューラルネットワークの学習と自動微分を理解する。
自然言語処理を学びたい
第1巻・第2巻
単語ベクトル、RNN、LSTM、Attentionを学ぶ。
PyTorchの内部構造を理解したい
第1巻・第3巻
計算グラフと自動微分エンジンを実装する。
ゲームAIや強化学習を学びたい
第1巻・第4巻
ベルマン方程式、Q学習、DQN、方策勾配法を学ぶ。
画像生成AIを作りたい
第1巻・第5巻
VAE、拡散モデル、U-Netを学ぶ。
ChatGPTやLLMの仕組みを理解したい
第1巻・第6巻
必要に応じて第2巻も学ぶ。
Transformer、GPT、事前学習、SFT、GRPO、DPOを実装する。
数学を中心に学びたい
第1巻・第3巻・第5巻
微分、偏微分、自動微分、確率分布、最適化を重点的に理解する。
- 全6冊を読破すると到達できる4つのレベル
レベル1:AIの原理を説明できる
ニューラルネットワーク、RNN、Transformer、拡散モデル、強化学習の仕組みを数式で説明できる。
レベル2:小規模なAIを自作できる
- 手書き数字認識AI
- 単語ベクトル学習プログラム
- 文章生成AI
- 自動微分エンジン
- 強化学習エージェント
- VAE
- 拡散モデル
- Transformer
- 小規模LLM
これらをPythonで実装するための知識が身に付く。
レベル3:AIのアルゴリズムを改造できる
例えば、以下のような実験ができる。
- 活性化関数を変更する
- 損失関数を変更する
- 学習率を変更する
- 最適化アルゴリズムを変更する
- ニューラルネットワークの層数を変更する
- Attentionの構造を変更する
- 生成モデルのパラメータを変更する
変更前後の性能を比較し、学習結果がなぜ変化したのかを考察できる。
レベル4:AIの論文を再現するための基礎ができる
新しいAIアルゴリズムの数式を読み、Pythonで実装し、小規模な検証実験を行うための基礎が身に付く。
ただし、最新論文の再現や大規模なAIモデルの学習には、さらに専門的な知識と計算資源が必要になる。
- まとめ
ゼロから作るDeep Learning全6冊を学習すると、AIの内部アルゴリズムを数式で理解し、Pythonで実装する能力を身に付けられる。
各巻の到達目標をまとめる。
第1巻
ニューラルネットワークを自作し、画像を分類できる。
第2巻
単語をベクトルに変換し、文章を生成できる。
第3巻
自動微分エンジンと小規模なディープラーニングフレームワークを自作できる。
第4巻
報酬を利用して行動を学習するAIを作れる。
第5巻
確率モデルと拡散モデルを利用して画像を生成できる。
第6巻
Transformerを実装し、小規模なLLMを学習させられる。
このシリーズで得られる最大の成果は、AIの数式をプログラムに変換して、自分で計算結果を検証できるようになることである。
AIを単に利用するだけなら、必ずしも6冊すべてを読む必要はない。
しかし、AIのアルゴリズムを理解し、モデルの内部構造を変更したり、新しい手法を検証したりしたいのであれば、体系的に学ぶ価値がある。
特にエンジニアにとっては、数学の知識が実際のAIシステムでどのように使われるのかを理解するよい機会になるだろう。
参考文献
- 斎藤康毅『ゼロから作るDeep Learning』オライリー・ジャパン、2016年
- 斎藤康毅『ゼロから作るDeep Learning ❷ 自然言語処理編』オライリー・ジャパン、2018年
- 斎藤康毅『ゼロから作るDeep Learning ❸ フレームワーク編』オライリー・ジャパン、2020年
- 斎藤康毅『ゼロから作るDeep Learning ❹ 強化学習編』オライリー・ジャパン、2022年
- 斎藤康毅『ゼロから作るDeep Learning ❺ 生成モデル編』オライリー・ジャパン、2024年
- 斎藤康毅『ゼロから作るDeep Learning ❻ LLM編』オライリー・ジャパン、2026年
公式サイト・サンプルコード
- "オライリー・ジャパン" (https://www.oreilly.co.jp/)
- "第1巻 GitHub" (https://github.com/oreilly-japan/deep-learning-from-scratch)
- "第2巻 GitHub" (https://github.com/oreilly-japan/deep-learning-from-scratch-2)
- "第3巻 GitHub" (https://github.com/oreilly-japan/deep-learning-from-scratch-3)
- "第4巻 GitHub" (https://github.com/oreilly-japan/deep-learning-from-scratch-4)
- "第5巻 GitHub" (https://github.com/oreilly-japan/deep-learning-from-scratch-5)
- "第6巻 GitHub" (https://github.com/oreilly-japan/deep-learning-from-scratch-6)