この記事は個人的なお勉強用のメモです。
このお勉強の位置
深層学習 Day 3
Section 1 再帰型ニューラルネットワークの概念 ← これ
Section 2 LSTM
Section 3 GRU
Section 4 双方向RNN
Section 5 Seq2Seq
Section 6 Word2vec
Section 7 Attention Mechanism
講義
RNN
再帰型ニューラルネットワーク（Recurrent Neural Network）
時系列データに対応可能なNN
後で登場するLSTMとかを含めてRNNと呼ぶ場合、
今回のRNNをシンプルなRNNと呼ぶことも。
時系列データ
時間的順序を追って一定間隔ごとに観察され、
相互に統計的依存関係が認められるようなデータの系列
- 音声データ
- テキストデータ
- 株価推移のデータ（タイムスタンプがあるデータ）
- 月ごとの訪問数
構成
- 入力データ $x$ に重みを掛けて $s$ が出力される。
$s$ は次の概念 $s_0$ に用いられる。 - 以下の2つを加算して $s_1$ を計算する。
・$s_0$ に重みを掛けた値
・次の入力値 $x_1$ - $s_1$ に活性化関数を実行して重みを掛けて、$y_1$ として出力する。
- 1から3まで繰り返し
※講義の図では $y$ から $s$ に矢印が伸びているが、矢印の向きが逆だと思う。
重みは3種類
$W_{(in)}$：$x$ に掛けて $s$ を出力する。
$W$：$s_{i-1}$ に掛けて $s_i$ を出力する。
$W_{(out)}$：$s$ に掛けて $y$ を出力する。
構成図（一部）
数式
\begin{align}
u^t&=W_{(in)}x^t+Wz^{t-1}+b\\
z^t
&=f(u^t)\\
v^t&=W_{(out)}z^t+c\\
y^t
&=g(v^t)\end{align}
$b$：バイアス
$c$：バイアス
u[:, t+1] = np.dot(X, W_in) + np.dot(z[:, t].reshape(1, -1), W)
z[:, t+1] = functions.sigmoid(u[:, t+1])
y[:, t] = functions.sigmoid(np.dot(z[:, t+1].reshape(1, -1), W_out))
特徴
時系列モデルを扱うには、初期の状態と過去の状態 t-1 の状態を保持し、
次の時間での t を再帰的に求める再帰構造が必要。
RNNについて
BPTT
BPTTとは
Back Propagation Through Time
誤差逆伝播法の一種。
BPTTの数学的記述
3つの重み
\begin{align}
\frac{\partial E}{\partial W_{(in)}}
&=\frac{\partial E}{\partial u^t}\Biggl[\frac{\partial u^t}{\partial W_{(in)}}\Biggr]^T\\
&=\delta^t \bigl[x^t\big]^T
\end{align}
\begin{align}
\frac{\partial E}{\partial W_{(out)}}
&=\frac{\partial E}{\partial v^t}\Biggl[\frac{\partial v^t}{\partial W_{(out)}}\Biggr]^T\\
&=\delta^{out,t} \bigl[z^t\big]^T
\end{align}
\begin{align}
\frac{\partial E}{\partial W}
&=\frac{\partial E}{\partial u^t}\Biggl[\frac{\partial u^t}{\partial W}\Biggr]^T\\
&=\delta^t \bigl[z^{t-1}\big]^T
\end{align}
2つのバイアス
\begin{align}
\frac{\partial E}{\partial b}
&=\frac{\partial E}{\partial u^t}\frac{\partial u^t}{\partial b}\\
&=\delta^t
\end{align}
\begin{align}
\frac{\partial E}{\partial c}
&=\frac{\partial E}{\partial v^t}\frac{\partial v^t}{\partial c}\\
&=\delta^{out,t}
\end{align}
重みのサンプルコード
np.dot(X.T, delta[:,t].reshape(1,-1))
np.dot(z[:,t+1].reshape(-1,1), delta_out[:,t].reshape(-1,1))
np.dot(z[:,t].reshape(-1,1), delta[:,t].reshape(1,-1))
\begin{align}
\frac{\partial E}{\partial u^t}
&=
\frac{\partial E}{\partial v^t}
\frac{\partial v^t}{\partial u^t}
\\
&=
\frac{\partial E}{\partial v^t}
\frac{\partial \Bigl(W_{(out)}f(u^t)+c\Bigr)}{\partial u^t}
\\
&=f'(u^t)W_{(out)}^T \delta^{out,t}
\\
&=
\delta^t
\\
\delta ^{t-1}
&=
\frac{\partial E}{\partial u^{t-1}}
\\
&=
\frac{\partial E}{\partial u^{t}}
\frac{\partial u^t}{\partial u^{t-1}}
\\
&=
\delta^t\Biggl(
\frac{\partial u^t}{\partial z^{t-1}}
\frac{\partial z^{t-1}}{\partial u^{t-1}}
\Biggr)
\\
&=
\delta^t
W\biggl(f'(u^{t-1})\biggr)
\\
\delta^{t-z-1}&=\delta^{t-z}\Bigl(Wf'(u^{t-z-1})\Bigr)
\end{align}
delta[:,t] = (np.dot(delta[:,t+1].T, W.T) + np.dot(delta_out[:,t].T, W_out.T)) *
functions.d_sigmoid(u[:,t+1])
パラメータの更新式
W_{(in)}^{t+1}=W_{(in)}^t-\epsilon \frac{\partial E}{\partial W_{(in)}}
=W_{(in)}^t -\epsilon \sum_{z=0}^{T_t} \delta^{t-z}\Bigl[x^{t-z}\Bigr]^T\\
W_{(out)}^{t+1}=W_{(out)}^{t}-\epsilon \frac{\partial E}{\partial W_{(out)}}
=W_{(in)}^t - \epsilon \delta^{out,t}\Bigl[z^{t}\Bigr]^T\\
W^{t+1}=W^{t}-\epsilon \frac{\partial E}{\partial W}
=W^t - \epsilon \sum_{z=0}^{T_t} \delta^{t-z}\Bigl[x^{t-z-1}\Bigr]^T\\
b^{t+1}=b^t-\epsilon \frac{\partial E}{\partial b}=b^t-\epsilon \sum_{z=0}^{T_t} \delta^{t-z}\\
c^{t+1}=c^t-\epsilon \frac{\partial E}{\partial c}=c^t-\epsilon \delta^{out,t}\\
講義では $W^{t+1}$ の更新式に $W_{(in)}^t$ が書かれているが、
$W^t$ の間違いだと思う。
W_in -= learning_rate * W_in_grad
W_out -= learning_rate * W_out_grad
W -= learning_rate * W_grad
コード演習問題
for t in reversed(range(n_seq)):
dv += np.dot(do[:, t].T, hiddens[:, t]) / batch_size
delta_t = do[:, t].dot(V)
for bptt_step in reversed(range(t+1)):
dW += np.dot(delta_t.T, xs[:, bptt_step]) / batch_size
dU += np.dot(delta_t.T, hiddens[:, bptt_step-1]) / batch_size
delta_t = delta_t.dot(U)
return dW, dU, dV
$\frac{\partial h_t}{\partial h_{t-1}}=U$ であるため、
過去に遡るたびに $U$ が掛けられる。
後で復習。
実装演習
2つの数値の足し算を学習するプログラム
2つの数値と正解値をそれぞれ2進数のビット列で表現する。
2つの数値のビット列の下位ビットをペアにして、順番に入力データとして与える。
このとき、前のビット計算の途中の値を保存し、次のビット計算で参照する（この部分がRNN）。
そのまま実行
weight_init_std = 1
learning_rate = 0.1
hidden_layer_size = 16
横軸：学習回数
縦軸：誤差
学習回数が増えるにつれて、誤差が小さくなっている。
これはRNNが足し算を学習したということか。
weight_init_std=10
weight_init_std=1のときに比べて、誤差のばらつきが大きい。
また、収束したとは言えない。
weight_init_std=0.1
学習が進んでいない。
重みが小さいため、最適値まで到達していないということか。
learning_rate=1
収束が速くなった。
加えて誤差も見た目ではゼロになっている。
誤差がゼロというのは過学習の可能性を疑うが
この場合は毎回新規にデータを生成して誤差を測定しているため
過学習にはあたらないはず。
hidden_layer_size=160
中間層のノードの数を10倍の160個にしたら、
誤差のばらつきが非常に大きくなった。
これは未知のデータに対する過学習の可能性がある。
（やっていることは毎回未知のデータに対する測定なので。）
Xavierの初期値
実装メモ
Xavierの初期値やHeの初期値の場合は、weight_init_stdを掛ける必要はない。
Xavierの初期値を指定すると、学習が悪化した。
Heの初期値
Xavierの初期値の場合よりはまともだが、何もしない方が学習の進み具合が良い。
中間層の活性化関数 ReLU
変更したソースは模範解答と全く同じだが、
なぜか全く学習が進まない。
中間層の活性化関数 tanh
自分の解答
def d_tanh(x):
return 4 / (np.exp(x) + np.exp(-x)) ** 2
模範解答
def d_tann(x):
return 1/(np.cosh(x) ** 2)
式は違うが同じ意味。
学習回数が2000回を超えるくらいから急激に誤差が少なくなった。
不思議に思って何回か実行してみたが、傾向は同じ。
4000回に到達するころには誤差はゼロに近い。
確認テスト
重みの説明
3つ目の重みは、中間層から次の中間層を定義する際にかけられる重み。
連鎖率の復習
$z=t^2$ ⇒ $\frac{dz}{dt}=2t$
$t = x+y$ ⇒ $\frac{dt}{dx}=1$
\begin{align}
\frac{dz}{dx}
&=\frac{dz}{dt}\frac{dt}{dx}\\
&=2t\times 1\\
&=2(x+y)
\end{align}
y1を数式で表す
使用する変数：$x, s_0, s_1, W_{(in)}, W, W_{(out)}$
中間層の出力にシグモイド関数 $g(x)$ を作用させる。
\begin{align}
s_1
&=g(W_{(in)}x_1+Ws_0+b)\\
y_1
&=W_{(out)}s_1+c\\
\end{align}
- $s_0$ や $s_1$ というのが、活性化関数を作用させる前の値なのか後なのかわからなかった。
活性化関数を作用させた後という前提で解答を書いた。 - 問題文に $g(x)$ と書いてあるのでそのまま $g(x)$ と書いた。
- 出力層には活性化関数を書かなかった。
模範解答はこちら。
\begin{align}
z_1&=sigmoid(s_0W+x_1W_{(in)}+b)\\
y_1&=sigmoid(z_1W_{(out)}+c)
\end{align}
模範解答は $s$ と $z$ を厳密に使い分けているのだろうか。
（$s_0W$ とあることから、$s_0$ は前の中間層で活性化関数を作用させた後である。
一方で、$z_1=sigmoid(...)$ とあることから、$z_1$ も中間層で活性化関数を
作用させた後である。しかし、上記の2つの変数名が $s$ と $z$ とで一致しない。）
修了テスト～練習問題～
BPTTに関する問題はない。