Recurrent Neural Networks (RNNs) 関連。
For now, just be aware of the fact that vanilla RNNs trained with BPTT have difficulties learning long-term dependencies (e.g. dependencies between steps that are far apart) due to what is called the vanishing/exploding gradient problem.
tutorialなどで耳にしてきたvanilla RNN。
How to choose between plain vanilla RNN and LSTM RNN when modelling a time series?
という質問。
色々な回答やコメントがついている。
現段階では、LSTMはRNNの学習方法？のようなものと認識していたが、vanilla RNNとLSTM RNNという２種類のものがあるのだろうか。