はじめに
Deep Learning Specialization の Course 1, Week 4 (C1W4) の内容です。
(C1W4L01) Deep L-layer Neural Network
内容
- Deep neural network の記号の説明
- $n^{[l]}$ ; #units in layer $l$
- $a^{[l]}$ ; activations in layer $l$ ($x = a^{[0]}$, $\hat{y} = a^{[L]}$)
- $W^{[l]}$, $b^{[l]}$ ; weights for $z^{[l]}$
(C1W4L02) Forward Propagation in a Deep Network
内容
z^{[l]} = W^{[l]} a^{[l-1]} + b^{[l]} \\
a^{[l]} = g^{[l]}\left(z^{[l]}\right)
- ベクトル化する (Vectorized)
Z^{[l]} = W^{[l]} A^{[l-1]} + b^{[l]} \\
A^{[l]} = g^{[l]}\left(Z^{[l]}\right)
(C1W4L03) Getting your matrix dimensions right
内容
- バグを除去するためには，行列の次元があっているか調べる
- $W^{[l]}$ ; $(n^{[l]}, n^{[l-1]})$
- $b^{[l]}$ ; $(n^{[l]}, 1)$
- $dW^{[l]}$ ; $(n^{[l]}, n^{[l-1]})$
- $db^{[l]}$ ; $(n^{[l]}, 1)$
- $Z^{[l]}$ , $A^{[l]}$ ; $(n^{[l]}, m)$
(C1W4L04) Why deep representation?
内容
- 浅い neural network より深い neural network のほうが，少ないユニットで複雑な表現ができる
(C1W4L05) Building Blocks of a Deep Neural Network
内容
- Forward propagation と Back propagation をブロック図を使って説明
(C1W4L06) Forward and backward propagation
内容
- ブロック図を発展させて Forward propagation と Backward propagation の全体像を説明
- Forward propagation
- Input ; $A^{[l-1]}$
- Output ; $A^{[l]}$ (cache $Z^{[l]}$)
Z^{[l]} = W^{[l]} A^{[l-1]} + b^{[l]} \\
A^{[l]} = g^{[l]}\left(Z^{[l]}\right)
- Backward propagation
- Input ; $da^{[l]}$
- Output ; $da^{[l-1]}$, $dW^{[l]}$, $db^{[l]}$
dZ^{[l]} = dA^{[l]} \ast g^{[l]\prime}\left(Z^{[l]}\right) \\
dW^{[l]} = \frac{1}{m}dZ^{[l]}A^{[l-1]T} \\
db^{[l]} = \frac{1}{m}\textrm{np.sum}\left(dZ^{[l]}\textrm{, axis=1, keepdims=True}\right) \\
dA^{[l-1]} = W^{[l]T}dZ^{[l]}
(C1W4L07) Parameters vs Hyperparameters
内容
- Parameters ; $W^{[1]}$，$b^{[1]}$，…
- Hyperparameters ; learning rate $\alpha$，#iterations, #hidden layer $L$, #hidden units $n^{[i]}$, activation function の選択
- hyperparameters は parameters を制御するパラメタ
(C1W4L08) What does this have to do with the brain
内容
- ディープラーニングと脳の関係性について
- ニューロンはロジスティック回帰に似ているが，あまりこの比喩は使わない