More than 3 years have passed since last update.

BatchNormalizationをモデルに組み込む

Last updated at 2019-11-07Posted at 2018-09-09

色々な話を聞くと効果絶大なBatchNormalizationを使ってみました

とりあえず、お魚の本　p.187を参考に
「Affine->BatchNormalization->Relu」
の形でモデルを作りたいと思い

Dense(64, activation='relu')(x)

Denseの中からactivationをどうやって出すんだ？
と10分ほど悩んだので掲載します。
わかってみると、こう書くしかないですね・・・

#import

from keras.layers import Dense, BatchNormalization, Activation

#functionalの場合

x = Dense(64, activation='relu')(x)

↓

x = Dense(64)(x)
x = BatchNormalization()(x)
x = Activation('relu')(x)

#Sequentialの場合

model.add(64, activation='relu')

↓

model.add(Dense(64)
model.add(BatchNormalization())
model.add(Activation('relu'))