ネットワークの逆伝搬とは？
これまでの記事では、
・ニューラルネットワークとは何者で、どんな処理をしているのか（図で理解！ニューラルネットワークとは？）
・各ネットワーク層での処理を一部紹介しました。
Affine層：図で理解！ニューラルネットワークとは？
Convolution層：図で理解！畳み込み処理？Convolution層？畳み込みニューラルネットワーク（CNN）の基礎
しかし、”入力になんらかの計算処理を加えて出力を得る”だけでは何の意味もありません。
重要なのは”逆伝搬”です！！！（以下図）
↓↓↓↓↓もっと詳しく↓↓↓↓↓
勘がいい方はもう分かりました？
”誤差を小さくするように各ネットワーク層のパラメーターをそれぞれ更新”を”繰り返す” ＝ ”学習”
です。
パラメーターとは？
・Affine層で言うW（重み）とb（バイアス）
・Convolution層で言うK（カーネル）
つまり、”入力に対して掛けたり足したりする値”のことです。
ハイパーパラメーター （←重要）
パラメーターを適当に変えるわけではありません。
Wをどれだけどう変更するか、の調整をしてくれるのが”ハイパーパラメーター”です。
ハイパーパラメーターを使ってパラメーターを更新することを総称して
”ネットワークの更新”や”パラメーターの更新”と言います。
この更新方法は複数あるので、別途記事にします。
＜更新方法の種類＞
・SGD
・Momentum
・AdaGrad
・Adam
（ゼロから作るDeepLearning にも載っています。）
が、イメージを付けてもらうためにコードを乗せておきます。
//SGDでAffine層のWを更新
var ep = 0.001 //学習率 //（余談）任意の値だが、大体0.1,0.01,0.001辺りが多い
W = W - dW * ep //パラメーターWを更新 //dW:以下に説明
ep と言うのがハイパーパラメーターの一種で”学習率（epsilon）”と呼ばれるものです。
”一種”と言いましたが、
更新方法によって、それぞれで使用するだけのハイパーパラメーターが存在します。
逆伝搬の計算
上のコードのコメントアウトにしれっと”dW”と書きましたが、
逆伝搬の計算方法をAffine層の処理を例に記載します。
まとめ：学習の基盤：ニューラルネットワークの”逆伝搬”と”更新”
要は、入力を渡し、得た結果と期待する出力との”差異”を逆伝搬するだけなんですが、
それだけでは値が行ったり来たりしているです。
誤差をなるべく小さくできるようにパラメーターを更新してあげることで、
”計算結果の出力を、本来期待する出力に近づけよう”という訳で、
これが”学習の概念”です。
長々とありがとうございました。