Chainer
Optimizer

chainerの作法 その4

概要

chainerの作法を調べてみた。
オプチマイザー。

使ったモデル

分類。

class MLP(Chain):
    def __init__(self, n_in, n_units, n_out):
        super(MLP, self).__init__(l1 = L.Linear(n_in, n_units), l2 = L.Linear(None, n_out))
    def __call__(self, x):
        return self.l2(F.relu(self.l1(x)))

model = L.Classifier(MLP(6, 128, 4))


optimizers.Adam()

opti_Adam.png

optimizers.SGD()

opti_SGD.png

optimizers.AdaGrad()

opti_AdaGrad.png

optimizers.AdaDelta()

opti_AdaDelta.png

optimizers.MomentumSGD()

opti_MomentumSGD.png

optimizers.RMSprop()

opti_RMSprop.png

optimizers.RMSpropGraves()

opti_RMSpropGraves.png

以上。