Posted at

DNN_後編1 (演習結果と考察)


深層学習3-3,4 Jupyter演習 (Section1:再帰型ニューラルネットワークの概念)Section1-1:RNN全体像

[3_1_simple_RNN]


【演習実施結果】

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png

image.png


【考察】

・活性化関数にReLUを使った場合、勾配爆発が起ってしまい、学習に失敗した。

・今回初めて活性化関数に、Hyperbolic Tangent関数を適用してみた。Hyperbolic Tangentは、RNNではよく使われる。