Back Propagationを数式ベースで考えてみる

どういう風に使うのか

1. とりあえず、一回forward propagationでoutputを出してから、cost調べてみる。それからback propagationを使って、$\delta$を求める。
2. その$\delta$を用いて、$w$を更新する。($\triangle w_{ij} = -\eta\delta_jo_i$)

Back Propagationの骨格

\frac{\partial E}{\partial w_{ij}} = \frac{\partial E}{\partial o_j} 
\frac{\partial o_j}{\partial net_j}
\frac{\partial net_j}{\partial w_{ij}}
= \delta_jo_i

言ってしまえば、どれだけcost function$E$とweight$w$の相関があるかがを求めて、相関が大きければ大きいほど$w$を小さくするようにしている。