再提出レポート（深層学習ー２）

＜後編＞
・simple RNN(Recursive Neural Network)
バイナリ加算

＜コード追記＞

重み初期化方法の変更


重みの初期化方法を変更すると、収束するまでの時間が長くなる傾向にある。

活性化関数の変更


活性化関数を、ReLU、tanhに変更した結果、両方とも良い結果が得られなかった。

・Predict sin
＜maxlen=2,iters_num=500＞

＜maxlen=2,iters_num=100＞

＜maxlen=5,iters_num=500＞

＜maxlen=5,iters_num=3000＞

上記の結果から、「ひとつの時系列データ」を長くして、繰り返し数を多くすることによって、sin波を正確に再現できることが示唆された。

・Predict word
総単語数：9826

出現回数の少ない単語を未知語（？？？）として表示

Tensorflow
・constant

・placeholder

・variables

・線形回帰

・非線形回帰

y=30x2+0.5x+0.2

・分類1層(mnist)

・分類3層(mnist)

・分類CNN(mnist)

・分類CNN(mnist):Dropout率=0

Keras
・線形回帰

・単純パーセプトロン

・np.random.seed(1)

・epochs=100

・AND回路

・XOR回路

・batch size=10

・epochs=300

上記ケースが最も誤差が小さく、正確な結果を表している。

分類(iris)

・sigmoid関数

・from keras.optimizers import SGD
SGD(lr=0.1, momentum=0.0, decay=0.0, nesterov=False)

分類(mnist)

・one_hot_label=False

・sparse_categorical_crossentropy

・Adam　(Ir=0.1)

・Adam　(Ir =0.00001)