はじめに
全結合型ニューラルネットワークの逆伝搬の式の計算で、行列のどれの転置をとるのか、どっちからかけるのか、ということが良くわからなくなります。そういう時は、各行列の次元を考えればよいですね。
行列の基本的なこと
行列の掛け算
行列
A[l, m] : l行m列
B[m, n] : m行n列
のとき、行列の掛け算でC=ABを計算すると
C[l, n]=A[l, m]B[m, n]
となって、l行n列の行列Cとなる。
真ん中のmの数字が同じ時、mに関して掛け合わせることができるのでmの数字が消えて、残りのインデックスが残った行列ができる。
なので、B[m, n]A[l, m]の掛け算を行うことはできない。
行列の転置
A[l, m]の行列の転置をとるとは行と列を入れ替えることで、
$A^T$と表し、次元は[m, l]になる。
$A^T[m, l]$
各パラメータの次元の確認
入力側のノード数：$d_1$
出力側のノード数：$d_2$
バッチサイズ：$N$
であるとき、
入力側のデータ: $X[N, d_1]$
出力側のデータ: $Y[N, d_2]$
で表すことができ、この時の重み係数とバイアス係数は、
重み係数：$W[d_1, d_2]$
バイアス係数: $b[d_2]$
で表すことができる。
このとき、
$Y[N, d_2]=X[N, d_1]W[d_1, d_2]+b[d_2]$
という関係式がなりたつ。$d_1$が掛け合わされてなくなり、$[N, d_2]$の次元になっている。
行列の足し算は、numpy式？で計算される。
逆伝搬の式
勾配を求めるとは、損失関数$L$に対して、
$\frac{\partial L}{\partial X}$, $\frac{\partial L}{\partial W}$, $\frac{\partial L}{\partial b}$
を求めるという事。この勾配を求めるときはどれも
$\frac{\partial L}{\partial Y}[N, d_{2}]$
を用いる。
入力の勾配
$\frac{\partial L}{\partial X}=\frac{\partial L}{\partial Y}\frac{\partial Y}{\partial X}$であって$\frac{\partial Y}{\partial X}$は$W$である。
なので、$\frac{\partial L}{\partial Y}[N, d_{2}]$に$W[d_1, d_2]$をかけることで入力の勾配$\frac{\partial L}{\partial X}[N, d_1]$が得られる。
次元に注意すれば
$\frac{\partial L}{\partial X}[N, d_1]=\frac{\partial L}{\partial Y}[N, d_{2}]W^T[d_2, d_1]$
となる。
\frac{\partial L}{\partial X}=\frac{\partial L}{\partial Y}W^T
重みパラメータの勾配
$\frac{\partial L}{\partial Y}[N, d_{2}]$に$X[N, d_1]$をかけることで重みパラメータの勾配$\frac{\partial L}{\partial W}[d_1, d_2]$が得られる。
次元に注意すれば
$\frac{\partial L}{\partial W}[d_1, d_2]=X^{T}[d_1, N]\frac{\partial L}{\partial Y}[N, d_{2}]$
となる。
\frac{\partial L}{\partial W}=X^{T}\frac{\partial L}{\partial Y}
バイアスパラメータの勾配
$\frac{\partial L}{\partial Y}[N, d_{2}]$に$\frac{\partial Y}{\partial b}$をかけることでバイアスパラメータの勾配を求めることができる。これはN個の要素が全て1である行列[N]になるので、
\frac{\partial L}{\partial b}=(\frac{\partial L}{\partial Y}をサンプル方向に足したもの)
別の表記
次の式が基本にある。
dL=\sum_{i,j}\frac{\partial L}{\partial y_{ij}} dy_{ij}
入力の勾配
\frac{\partial L}{\partial x_{kl}}=\sum_{i,j}\frac{\partial L}{\partial y_{ij}} \frac{\partial y_{ij}}{\partial x_{kl}}
同じサンプリングのとこだけが残るので、iに関する和は消える。つまり、
\frac{\partial L}{\partial x_{kl}}=\sum_{j}\frac{\partial L}{\partial y_{kj}} \frac{\partial y_{kj}}{\partial x_{kl}}
$\frac{\partial y_{kj}}{\partial x_{kl}}$は、$w_{lj}$になるので、結局、
\frac{\partial L}{\partial x_{kl}}=\sum_{j}\frac{\partial L}{\partial y_{kj}} w_{lj}
重みパラメータの勾配
\frac{\partial L}{\partial w_{mn}}=\sum_{i,j}\frac{\partial L}{\partial y_{ij}} \frac{\partial y_{ij}}{\partial w_{mn}}
ここで、
y_{ij}=\sum_{k}x_{ik}w_{kj}+b_{j}
なので、
\frac{\partial y_{ij}}{\partial w_{mn}}=\sum_{k}x_{ik}\frac{\partial w_{kj}}{\partial w_{mn}}=\sum_{k}x_{ik}\delta_{km} \delta_{jn}=x_{im}\delta_{jn}
という関係式に注意すれば、
\begin{align}
\frac{\partial L}{\partial w_{mn}} & = \sum_{i, j}\frac{\partial L}{\partial y_{ij}} x_{im} \delta_{jn}\\
&= \sum_{i}\frac{\partial L}{\partial y_{in}} x_{im}
\end{align}
バイアスパラメータの勾配
\frac{\partial L}{\partial b_{l}}=\sum_{i,j}\frac{\partial L}{\partial y_{ij}} \frac{\partial y_{ij}}{\partial b_{l}}
これは、$\frac{\partial y_{ij}}{\partial b_{l}}=\delta_{jl}$なので、結局次の通りになる。
\frac{\partial L}{\partial b_{l}}=\sum_{i}\frac{\partial L} {\partial y_{il}}
すなわち、サンプリング方向の和になっている。