Coursera > Deep Learning Specialization > Course 2 : Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization > Week 3 Hyperparameter tuning, Batch Normalization and Programming の受講記録。

概要

Course 2 は3週分の講座から構成される。

今回は Week 3 の受講記録。Batch Normalizationが登場。

Hyperparameter tuning

Tuning process

チューニングが大事なパラメータ

最も大事
- α（学習率）
その次に重要
- β（Momentum項）　0.9が良いデフォルト値
- ミニバッチサイズ
- Hidden Layerのユニット数
その次
- レイヤー数
- Learning Rate Decay
あまりチューニングしない
- Adamのパラメータ： β1=0.9 , β2=0.999 , ε=10**-8

グリッドサーチはあまり使わない。ランダムサーチのほうが良い。fine sampling schemeというのも良い。

Using an appropriate scale to pick hyperparameters

ハイパーパラメタを探索する際は適切なスケールを選択することが重要。

Hyperparameters tuning in practice: Pandas vs. Caviar

ハイパーパラメータのチューニングには２つのアプローチがある。
１．少数のモデルにすこしずつ手を加えて育てていく
２．大量のモデルを同時並行でトレーニングする。いろんなパラメータを同時に試すことができる。
２はコンピュートリソースが潤沢にあるような場合に採用することができる。

Batch Normalization

Normalizing activations in a network

入力データの正規化だけでなく、各層のOUTPUT（つまり次の層へのINPUT）もそれぞれ正規化することでtrainingがスピードアップする、という考え方。正規化のタイミングは活性化関数を適用する前とするか後とするかで議論があるが、活性化関数の適用前に正規化することが多い。ただし隠れ層の入力は平均0と分散1がベストではない。γとβを使って分散をスケールし、平均をずらす。
Ztilda = γ*Znorm + β
γとβは BartchNorm における学習可能なパラメータ。