search
LoginSignup
3

More than 5 years have passed since last update.

posted at

updated at

講談社機械学習プロフェッショナルシリーズ『深層学習』の学習 第7章 再帰型ニューラルネット

注意:『深層学習 (機械学習プロフェッショナルシリーズ)

を読むにあたって、自分が読みたいな、こんな記事があったら参考になるな、という基準で書いております。私は機械学習も数学も専門家ではないので誤っている箇所も多々あるかと思いますが参考となると幸いです。

第7章 再帰型ニューラルネット

7.1 系列データの種類

とくになし

7.2 RNNの構造

とくになし

7.3 順伝播計算

とくになし

7.4 逆伝播計算

  • p119図7.6 次のユニットへと同じユニットの帰還路分の2つがあり、それぞれを足しているのみ。次のユニットは1, ..., k, ..., K個あるのでそれを足し、帰還路は1, ..., j, ..., J個あるのでそれを足している。わからない場合は図7.3と図7.5と何度もにらめっこをするしかないかと。

p119の最後の式

p118より \\
\frac{\partial{E}}{\partial{u_j^t}}=\delta_j^t \\

(7.2)より初項のみ残り2項は消えるから \\
\frac{\partial{u_j^t}}{\partial{w_{ji}^{in}}}=\frac{\partial{\sum_i{w_{ji}^{in}x_i^t}}}{\partial{w_{ji}^{in}}} \\
係数iの項のみ残りあとは0となるので\sum_iは消えて \\
=x_i^t \\
ゆえに、\\
与式=\sum_{t=1}^T{\delta_j^tx_i^t}

p120の式も同様。

7.5 長・短期記憶(LSTM)

p124

\frac{\partial{v_k^t}}{\partial{u_j^{O,t}}}=\frac{\sum_j{w_{kj}^{out}z_j^t}}{\partial{u_j^{O,t}}} \\
=\frac{\sum_j{w_{kj}^{out}g_j^{O,t}f(s_j^t)}}{\partial{u_j^{O,t}}} \\
=\frac{\sum_j{w_{kj}^{out}f(u_j^{O,t})f(s_j^t)}}{\partial{u_j^{O,t}}} \\
=w_{kj}^{out}f'(u_j^{O,t})f(s_j^t)

7.6 入出力間で系列長が異なる場合

とくになし

⇒次は、講談社機械学習プロフェッショナルシリーズ『深層学習』の学習 第8章 ボルツマンマシン

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
What you can do with signing up
3