More than 3 years have passed since last update.

Deep Learning Specialization (Coursera) 自習記録 (C4W1)

Last updated at 2020-07-03Posted at 2020-06-28

はじめに

Deep Learning Specialization の Course 4, Week 1 (C4W1) の内容です。

1 0 -1
1 0 -1
1 0 -1

input image を $n \times n$，フィルタを $f \times f$ とすると，output image は $(n-f+1) \times (n-f+1)$ となる
欠点
- convolution 演算のたびに画像が小さくなる
- コーナーの pixel は 1 回しか使われない (情報を捨てている)
Padding
- input image の周囲にピクセルを入れて大きくする (0 を入れるのが一般的)
- $p$ = padding とすると output image は $(n+2p-f+1) \times (n+2p-f+1)$ となる
Valid and Same convolution
- Valid ; $(n \times n)$ $\ast$ $(f \times f)$ $\rightarrow$ $(n-f+1) \times (n-f+1)$
- Same
  - Pad so that output size is the same as input size
  - $n + 2p - f + 1 = n$
  - $p = \frac{f-1}{2}$
$f$ is usually odd ($3\times 3$ が一般的。$5 \times 5$ や $7 \times 7$ でも良い)

フィルタを動かす pixel 数を stride という
input image ; $n \times n$, filter ; $f\times f$, padding ; $p$, stride ; $s$ とすると, output image ; $\lfloor\frac{n+2p-f}{s}+1\rfloor \times \lfloor\frac{n+2p-f}{s}+1\rfloor$ (割り切れないときは切り捨て)

数学のテキストでは，convolution 演算ではフィルタをひっくり返して計算する。そうすることで，結合則 ($(A \ast B) \ast C = A \ast (B \ast C)$) を満足できる
でも deep learning では，フィルタをひっくり返さずにそのまま計算する

RGB image の convolution を考える
- input ; 6 $\times$ 6 $\times$ 3 (3 ; # of channel)
- filter ; 3 $\times$ 3 $\times$ 3
- output ; 4 $\times$ 4
Multiple filters
- 例えば filter が 2 つあると，output は 4 $\times$ 4 $\times$ 2 のようになる
Summary
- input ; $n \times n \times n_c$
- filter ; $f \times f \times n_c$
- output ; $ (n-f+1) \times (n-f+1) \times n_c^\prime$
  - $n_c^\prime$ ; # of filters
channel 数は「深さ depth」とも呼ばれる

layer の例
もし $3 \times 3 \times 3$ のフィルタが 10 個あると，パラメタ数はいくつか?
- $3 \times 3 \times 3 = 27$
- バイアスのパラメタが 1
- 上記が 10 個
- $(27 + 1) \times 10 = 280$ (input の画像の大小にかかわらず，フィルタが 10 ならパラメタは 280 個)
Summary of notation ; If layer $l$ is a convolutional layer,
- $f^{[l]}$ ; filter size
- $p^{[l]}$ ; padding
- $s^{[l]}$ ; stride
- $n_c^{[l]}$ ; # filters
- Input ; $n_H^{[l-1]} \times n_W^{[l-1]} \times n_c^{[l-1]}$
- Output ;$n_H^{[l]} \times n_W^{[l]} \times n_c^{[l]}$
- $n_H^{[l]} = \lfloor\frac{n_H^{[l-1]} + 2p^{[l]} - f^{[l]}}{s^{[l]}} + 1\rfloor$
Each filter is,
- $f^{[l]} \times f^{[l]} \times n_c^{[l-1]}$
Activation
- $a^{[l]} \rightarrow n_H^{[l]} \times n_W^{[l]} \times n_c^{[l]}$
- $A^{[l]} \rightarrow m \times n_H^{[l]} \times n_W^{[l]} \times n_c^{[l]}$
Weights
- $f^{[l]} \times f^{[l]} \times n_c^{[l-1]} \times n_c^{[l]}$
  - $n_c^{[l]}$ ; # filters
bias
- $(1, 1, 1, n_c^{[l]})$

Example of ConvNet
ネットワークが深くなると
- 画像サイズは小さくなる
- チャネル数が大きくなる
Types of layers in a convolutional network
- Convolution (CONV)
- Pooling (POOL)
- Fully connected (FC)

Input (32,32,3) から Output (28,28,6) にするとき
- Convolution で f=5, 6 filters ならパラメタは $(5\times 5 + 1) \times 6 = 156$
- fully connected なら $3072 \times 4704 \sim 14M$
Parameter sharing ; A feature detector (such as vertical edge detector) that's useful in one part of the image is probably useful in another part of image
Sparsity of connection ; In each image, each output value depends only on a small numbers of inputs