1 日 1 回 (努力目標) 論文の Abstract を Google 翻訳の力を借りて読んでいきます.
この記事は自分用のメモみたいなものです.
ほぼ Google 翻訳でお送りします.
間違いがあれば指摘していだだけると嬉しいです.
翻訳元
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
Abstract
訳文
ディープニューラルネットワークのトレーニングは, 前のレイヤーのパラメーターが変化するため, トレーニング中に各レイヤーの入力の分布が変化するという事実により複雑になります. これにより, 低い学習率と注意深いパラメーター初期化が必要になるため, トレーニングが遅くなり, 非線形飽和特性を持つモデルのトレーニングが難しくなります. この現象を内部共変量シフトと呼び, レイヤー入力を正規化することで問題に対処します. この方法は, 正規化をモデルアーキテクチャの一部とし, 各トレーニングミニバッチの正規化を実行することの強みを引き出しています. バッチ正規化により, はるかに高い学習率を使用でき, 初期化にあまり注意を払う必要がなくなります. また, 場合によってはドロップアウトの必要性を排除して, 正則化としても機能します. 最新の画像分類モデルに適用されるバッチ正規化は, 14 分の 1 少ないトレーニングステップで同じ精度を達成し, 元のモデルを大幅なマージンで打ち負かします. バッチ正規化ネットワークのアンサンブルを使用して, ImageNet 分類で公開されている最高の結果を改善します: トップ 5 検証エラー 4.9% (およびテストエラー4.8%) に達し, 人間の評価者の精度を超えています.
原文
Training Deep Neural Networks is complicated by the fact that the distribution of each layer's inputs changes during training, as the parameters of the previous layers change. This slows down the training by requiring lower learning rates and careful parameter initialization, and makes it notoriously hard to train models with saturating nonlinearities. We refer to this phenomenon as internal covariate shift, and address the problem by normalizing layer inputs. Our method draws its strength from making normalization a part of the model architecture and performing the normalization for each training mini-batch. Batch Normalization allows us to use much higher learning rates and be less careful about initialization. It also acts as a regularizer, in some cases eliminating the need for Dropout. Applied to a state-of-the-art image classification model, Batch Normalization achieves the same accuracy with 14 times fewer training steps, and beats the original model by a significant margin. Using an ensemble of batch-normalized networks, we improve upon the best published result on ImageNet classification: reaching 4.9% top-5 validation error (and 4.8% test error), exceeding the accuracy of human raters.