1.はじめに
今日は、ニューラルネットワークの基本アルゴリズムである誤差逆伝播法（Backpropagation)をわかりやすく紹介したいと思います。疲れた時、色々な数式を見ると頭は痛くなっちゃいます。なので、具体的な数字を使って誤差逆伝播法を紹介します。
2.ニューラルネットワーク
i1とi2は入力、o1とo2は出力、wはパラメータです(Biasはなし、活性化関数はidentity)。
Hidden層：h1=i1*w1+i2*w3, h2=i1*w2+i2*w4
Output層：o1=h1*w5+h2*w7, o2=h1*w6+h2*w8
誤差逆伝播法の目標：入力値を与え、wを学習させることより、出力値をo1，o2に近くする。
3.誤差逆伝播法（Backpropagation)
具体的な数字を与える：
i1＝1, i2=1.5, o1target=2.5, o2target=3
パラメータwの初期値を設定する（初期値の設定は基準がある、こちらで適当にしました）：
w1＝1.5, w2=2, w3=2, w4=2.5, w5=1.2, w6=2.5, w7=0.5, w8=1
ステップ1 順伝播
h1=i1*w1+i2*w3=1*1.5+1.5*2=4.5
h2=i1*w2+i2*w4=1*2+1.5*2.5=5.75
o1=h1*w5+h2*w7=4.5*1.2+5.75*0.5=8.275
o2=h1*w6+h2*w8=4.5*2.5+5.75*1=17
上記通り、順伝播が終わりです。wの初期値を使って入力i1, i2における出力o1(8.275), o2(17)を算出しました。しかし、正解のo1target(2.5), o2target(3)と全然違います。これから、出力の誤差に逆伝播を行い、パラメータwを更新し、改めて出力を算出します。
ステップ2 逆伝播
誤差設定
E=E1+E2=1/2*(o1target-o1)^2+1/2*(o2target-o2)^2
誤差計算
E=E1+E2=1/2*(o1target-o1)^2+1/2(o2target-o2)^2=1/2*(2.5-8.275)^2+1/2*(3-17)^2=114.68
パラメータwの更新
パラメータwの更新は、Output層からHidden層まではw5, w6, w7, w8、Hidden層からInput層まではw1, w2, w3, w4の更新です。こちらでw5の更新を例として解説します。
考え方は：パラメータw5は誤差Eにどのような影響を与えたかを知りたい、そしてw5を更新します。
1)w5は誤差Eにどのような影響を与えたかーーー編微分
w5で編微分：
∂E/∂w5=∂E/∂E1*∂E1/∂w5
∂E/∂E1=2*1/2*(o1target-o1)*(-1)+0=5.775
∂E1/∂w5=h1+0=4.5
∂E/∂w5=∂E/∂E1*∂E1/∂w5=5.775*4.5=25.9875
2)w5を更新する
学習率ηを0.1と設定し、w5を更新する：
w5+=w5-η*∂E/∂w5=1.2-0.1*25.9875=-1.3986
同じように、他のwを更新します。
これで、一回の誤差逆伝播は終わりです。更新されたwを改めてネットワークに入れて計算します。多く反復した後、誤差が小さくなり、出力はターゲット値に近くなります。
4.まとめ
具体的な数字を使って誤差逆伝播法を紹介してみました。
参考
Understanding and coding Neural networks From Scratch in Python and R
https://www.analyticsvidhya.com/blog/2020/07/neural-networks-from-scratch-in-python-and-r/
Ps
Multilayer Perceptron Training VisualizationというMLPの可視化できるツールをお勧めします。
サイト：https://borgelt.net/doc/mlpd/mlpd.html#Introduction