この記事は個人的なお勉強用のメモです。

このお勉強の位置

深層学習 Day 1

Section 0 ニューラルネットワークの全体像
Section 1 入力層～中間層
Section 2 活性化関数
Section 3 出力層
Section 4 勾配降下法
Section 5 誤差逆伝播法　←　これ

講義

誤差逆伝播法

それぞれの処理の場所で微分する。
微分した値を前の層で使う。

誤差関数
出力層での活性化関数
出力層での重み計算
中間層での活性化関数（1層ずつ）
中間層での重み計算（1層ずつ）

微分した値を連鎖率で掛け合わせる。

誤差関数

入力1：出力層からの値 y
入力2：正解値 d
出力：誤差 E

数式 $\frac{\partial E}{\partial y}$

出力層の活性化関数

入力1：総入力 u
出力；活性化関数処理後の値 y

数式 $\frac{\partial y}{\partial u}$

重みの計算

入力1：入力データ値 x
入力2：重みの値 w
出力：上記の掛け算の総和 u

数式 $\frac{\partial u}{\partial w}$

誤差 E を重み w で偏微分した微分値

最終的に求めた微分値

\begin{align}
\frac{\partial E}{\partial w} 
= \frac{\partial E}{\partial y}\frac{\partial y}{\partial u}\frac{\partial u}{\partial w}
\end{align}

上記のように間接的に微分値を計算できる。
それぞれの微分値は人間が事前に計算しておく。

実装演習

1_3_stochastic_gradient_descent.ipynb

与えられたソースは、
　順伝播：ReLU関数
　逆伝播：シグモイド関数の導関数
になっていて関数が不統一だったので、順伝播をシグモイド関数に変更して実行した。

学習が進むにつれて、急速に誤差が小さくなっていく様子が確認できる。

確認テスト

既に行った計算結果を保持しているソースコードの位置

z1：前の層の出力値
delta2：誤差関数 MSEを微分した値を保持
grad['W2']：以下の3つの値を掛け算した値を保持

delta2の値
恒等関数を微分した値 1（y = u2より）
u2をW2で微分した値 z1（u2=W2 z1 + b2より）

（保持とはいえ、1回の重み更新で一時的に保持するだけ。次のエポックでの重み更新時はすべて再計算する。）

2つの空欄に該当するソースコードの位置

数式 $\frac{\partial E}{\partial y}\frac{\partial y}{\partial u}$ のソースコード
$\frac{\partial y}{\partial u}$ は 1 なので、上記の数式専用のソースコードは見当たらないが
強いて言えば以下のソースコード。

数式 $\frac{\partial E}{\partial y}\frac{\partial y}{\partial u}\frac{\partial u}{\partial w_{ji}^2}$ のソースコード

模範解答によると、上に貼り付けた自分の2つの解答はどちらも不正解とのことだが、
本当だろうか。
forward関数を読むと、以下のように中間層が2層になっている。

この問は $w_{ji}^{(2)}$ つまり2層目の重みの傾きを求めるソースコードを探す。
しかし、なぜか模範解答は1層目の重みの傾きを求めるソースコードを指している。
もし1層名の重みの傾きを求めるのであれば、数式は以下であるはず。

\frac{\partial E}{\partial y}
\frac{\partial y}{\partial u2}
\frac{\partial u2}{\partial z1}
\frac{\partial z1}{\partial u1}
\frac{\partial u1}{\partial w_{ji}^{(1)}}

修了テスト～練習問題～

問題4（シグモイド関数の微分）

これは暗記するのが一番早い。

f'(z)=f(z)(1-f(z))

計算でも求められる。

f(z)=\frac{1}{1+e^{-z}}\\

$1+e^{-z} = t$ とおくと、$f(z) = \frac{1}{t} \Rightarrow \frac{\partial f(z)}{\partial t}=-t^{-2}=-\frac{1}{t^2}$
$e^{-z} = s$ とおくと、$1+s=t \Rightarrow \frac{\partial t}{\partial s}=1$
$-z=u$ とおくと、$e^u=s \Rightarrow \frac{\partial s}{\partial u}=e^u$
また、$\frac{\partial u}{\partial z}=-1$

\begin{align}
\frac{\partial f(z)}{\partial z}
&=
\frac{\partial f(z)}{\partial t}
\frac{\partial t}{\partial s}
\frac{\partial s}{\partial u}
\frac{\partial u}{\partial z}
\\
&=
\biggl(-\frac{1}{t^2}\biggr)
\times
1
\times
e^u
\times
(-1)
\\
&=
\frac{e^{-z}}{(1+e^{-z})^2}
\\
&=
\frac{1}{1+e^{-z}}
\frac{1+e^{-z}-1}{1+e^{-z}}
\\
&=
\frac{1}{1+e^{-z}}
\Biggl(
1-
\frac{1}{1+e^{-z}}
\Biggr)
\\
&=
f(z)(1-f(z))
\end{align}

問題5（計算グラフでの逆伝播）

右の赤線の値は $1$ かつ中央下の黒線は $20$ であることから、中央の赤線は $1 \times 20=20$
中央の赤線は $20$ かつ左上の黒線は $3$ であることから、左の赤線は $20 \times 3=60$

参考
赤本の 5.3.2 乗算ノードの逆伝播