BatchNormalizationをモデルに組み込む

色々な話を聞くと効果絶大なBatchNormalizationを使ってみました

とりあえず、お魚の本　p.187を参考に
「Affine->BatchNormalization->Relu」
の形でモデルを作りたいと思い

Dense(64, activation='relu')(x)

Denseの中からactivationをどうやって出すんだ？
と10分ほど悩んだので掲載します。
わかってみると、こう書くしかないですね・・・

import

from keras.layers import Dense, BatchNormalization, Activation

functionalの場合

x = Dense(64, activation='relu')(x)

↓

x = Dense(64)(x)
x = BatchNormalization()(x)
x = Activation('relu')(x)

Sequentialの場合

model.add(64, activation='relu')

↓

model.add(Dense(64)
model.add(BatchNormalization())
model.add(Activation('relu'))