KerasでRAdamを使用する。

はじめに

以下の記事でAdamの改良版のRAdamという最適化アルゴリズムがあるとのことなので、
Kerasで使用する方法について調べてみました。

RAdamのインストール

上記の記事で紹介されているもの以外にも
「keras rectified adam」や「keras radam」等で検索すると、いくつかでてきますが、
pipでインストールできるこれを使ってみました。
下記サイトの内容そのままですが、

pip install keras-rectified-adam

でインストールできます。

使い方

「from keras_radam import RAdam」でインポートしてから
モデルをcompileする際に「optimizer=Adam(lr=～)」とかやってた箇所を「optimizer=RAdam()」に変えればよいようです。

#（例）
from keras_radam import RAdam
…
model.compile(loss='categorical_crossentropy', optimizer=RAdam(), metrics=['accuracy'])

最後に

学習率の設定について考慮しなくて済むのが利点として大きいと感じました。