https://www.tensorflow.org/versions/master/tutorials/mnist/pros/index.html#deep-mnist-for-experts
において紹介されているADAM optimizer。
Train and Evaluate the Model
...
We will replace the steepest gradient descent optimizer with the more sophisticated ADAM optimizer.
Adamについては30分でわかるAdamでechizen_tmさんが解説してくれています。
@kenmatsu4さんの情報提供に感謝。