ゼロから作るDeep Learningに行列の和と積の誤差逆伝播法の証明が書いていなかったため、Deep Learningという本（英語版はネットで無料公開されています、邦訳版はこちら）を参考に、自分で証明を書いてみました。
#証明を読む前に
行列の微分というマニアックな分野になってくるので、行列の微分の定義および表記法（分子レイアウト記法と分母レイアウト記法など）を知るために、その名もMatrix Differentiationという資料に一通り目を通しておいてください。僕もこれを読んで勉強しました。
以下はすべて分母レイアウト記法です。
#記法
太字の大文字$\boldsymbol{X}$は行列を表します。普通の太さの大文字$X$や普通の太さの小文字$x$はスカラーを表します。普通の太さの小文字に添字が付いたもの$x_{ij}$は対応する太字の大文字の行列$\boldsymbol{X}$の第$(i, j)$成分を表します。$R^{m \times n}$は$m \times n$の実数の行列の全体の集合を表します。
#証明のもととなる定理（拡張版連鎖律）
Deep Learning英語版のChapter 6のp203の式6.47がもととなりますが、以下の証明のために書き換えておきます。本ではテンソルですが、今回の証明では行列で十分ですし、一般のテンソルで考えるとややこしくなるので、ここでは行列に限定して議論します。
z = f(\boldsymbol{Y})\\
\boldsymbol{Y} = g(\boldsymbol{X})\\
\frac{\partial z}{\partial \boldsymbol{X}} =
\sum_{i, j}
\frac{\partial y_{ij}}{\partial \boldsymbol{X}}
\frac{\partial z}{\partial y_{ij}}
#行列の和の証明
損失関数の値を$L$とし、$L$は$\boldsymbol{Z}$の関数であるとします。$\boldsymbol{X}, \boldsymbol{Y}, \boldsymbol{Z} \in R^{m \times n}$であり、$\boldsymbol{Z} = \boldsymbol{X} + \boldsymbol{Y}$という関係があるとします。そして、$\frac{\partial L}{\partial \boldsymbol{Z}}$がわかっていて、$\frac{\partial L}{\partial \boldsymbol{X}}$と$\frac{\partial L}{\partial \boldsymbol{Y}}$を求めたいとします。このとき
z_{ij} = x_{ij} + y_{ij}
この式の両辺を$\boldsymbol{X}$で微分して
\frac{\partial z_{ij}}{\partial \boldsymbol{X}} =
\begin{pmatrix}
0 && \cdots && 0\\
\vdots && \ddots && \vdots\\
0 & \cdots & 1 & \cdots & 0\\
\vdots && \ddots && \vdots\\
0 && \cdots && 0
\end{pmatrix}
第$(i, j)$成分のみが1で他の成分はすべて0です。
さらに両辺に$\frac{\partial L}{\partial z_{ij}}$をかけて
\frac{\partial z_{ij}}{\partial \boldsymbol{X}}
\frac{\partial L}{\partial z_{ij}} =
\begin{pmatrix}
0 && \cdots && 0\\
\vdots && \ddots && \vdots\\
0 & \cdots & \frac{\partial L}{\partial z_{ij}} & \cdots & 0\\
\vdots && \ddots && \vdots\\
0 && \cdots && 0
\end{pmatrix}
これを$j$について和をとると
\sum_{j=1}^n
\frac{\partial z_{ij}}{\partial \boldsymbol{X}}
\frac{\partial L}{\partial z_{ij}} =
\begin{pmatrix}
0 && \cdots && 0\\
\vdots && \ddots && \vdots\\
\frac{\partial L}{\partial z_{i1}} &
\frac{\partial L}{\partial z_{i2}} &
\frac{\partial L}{\partial z_{i3}} &
\cdots &
\frac{\partial L}{\partial z_{in}}\\
\vdots && \ddots && \vdots\\
0 && \cdots && 0
\end{pmatrix}
さらに$i$について和をとると
\sum_{i=1}^l
\sum_{j=1}^n
\frac{\partial z_{ij}}{\partial \boldsymbol{X}}
\frac{\partial L}{\partial z_{ij}} =
\begin{pmatrix}
\frac{\partial L}{\partial z_{11}} &
\frac{\partial L}{\partial z_{12}} &
\frac{\partial L}{\partial z_{13}} &
\cdots &
\frac{\partial L}{\partial z_{1n}}\\
\frac{\partial L}{\partial z_{21}} &
\frac{\partial L}{\partial z_{22}} &
\frac{\partial L}{\partial z_{23}} &
\cdots &
\frac{\partial L}{\partial z_{2n}}\\
\vdots && \ddots && \vdots\\
\frac{\partial L}{\partial z_{m1}} &
\frac{\partial L}{\partial z_{m2}} &
\frac{\partial L}{\partial z_{m3}} &
\cdots &
\frac{\partial L}{\partial z_{mn}}\\
\end{pmatrix} =
\frac{\partial L}{\partial \boldsymbol{Z}}
ここで、上記の定理より
\frac{\partial L}{\partial \boldsymbol{X}} =
\sum_{i, j}
\frac{\partial z_{ij}}{\partial \boldsymbol{X}}
\frac{\partial L}{\partial z_{ij}} =
\sum_{i=1}^l
\sum_{j=1}^n
\frac{\partial z_{ij}}{\partial \boldsymbol{X}}
\frac{\partial L}{\partial z_{ij}}
したがって
\frac{\partial L}{\partial \boldsymbol{X}} =
\frac{\partial L}{\partial \boldsymbol{Z}}
同様にして
\frac{\partial L}{\partial \boldsymbol{Y}} =
\frac{\partial L}{\partial \boldsymbol{Z}}
#行列の積の証明
損失関数の値を$L$とし、$L$は$\boldsymbol{Z}$の関数であるとします。$\boldsymbol{X} \in R^{l \times m}, \boldsymbol{Y} \in R^{m \times n}, \boldsymbol{Z} \in R^{l \times n}$であり、$\boldsymbol{Z} = \boldsymbol{X} \boldsymbol{Y}$という関係があるとします。そして、$\frac{\partial L}{\partial \boldsymbol{Z}}$がわかっていて、$\frac{\partial L}{\partial \boldsymbol{X}}$と$\frac{\partial L}{\partial \boldsymbol{Y}}$を求めたいとします。このとき、行列の積の定義より
z_{ij} = \sum_{k=1}^mx_{ik}y_{kj}
この式の両辺を$\boldsymbol{X}$で微分して
\frac{\partial z_{ij}}{\partial \boldsymbol{X}} =
\begin{pmatrix}
0 && \cdots && 0\\
\vdots &&\ddots&& \vdots\\
y_{1j} & y_{2j} &y_{3j} & \cdots & y_{mj}\\
\vdots &&\ddots&& \vdots\\
0 && \cdots && 0
\end{pmatrix}
第$i$行が$\begin{matrix}y_{1j} & y_{2j} &y_{3j} & \cdots & y_{mj}\end{matrix}$であり、他の行はすべて0で埋まっている状態です。
さらに両辺に$\frac{\partial L}{\partial z_{ij}}$をかけて
\frac{\partial z_{ij}}{\partial \boldsymbol{X}}
\frac{\partial L}{\partial z_{ij}} =
\begin{pmatrix}
0 && \cdots && 0\\
\vdots &&\ddots&& \vdots\\
y_{1j} \frac{\partial L}{\partial z_{ij}} &
y_{2j} \frac{\partial L}{\partial z_{ij}} &
y_{3j} \frac{\partial L}{\partial z_{ij}} &
\cdots &
y_{mj} \frac{\partial L}{\partial z_{ij}}\\
\vdots &&\ddots&& \vdots\\
0 && \cdots && 0
\end{pmatrix}
これを$j$について和をとると
\sum_{j=1}^n
\frac{\partial z_{ij}}{\partial \boldsymbol{X}}
\frac{\partial L}{\partial z_{ij}} =
\begin{pmatrix}
0 && \cdots && 0\\
\vdots &&\ddots&& \vdots\\
\sum_{j=1}^n y_{1j} \frac{\partial L}{\partial z_{ij}} &
\sum_{j=1}^n y_{2j} \frac{\partial L}{\partial z_{ij}} &
\sum_{j=1}^n y_{3j} \frac{\partial L}{\partial z_{ij}} &
\cdots &
\sum_{j=1}^n y_{mj} \frac{\partial L}{\partial z_{ij}}\\
\vdots &&\ddots&& \vdots\\
0 && \cdots && 0
\end{pmatrix}
さらに$i$について和をとると
\sum_{i=1}^l
\sum_{j=1}^n
\frac{\partial z_{ij}}{\partial \boldsymbol{X}}
\frac{\partial L}{\partial z_{ij}} =
\begin{pmatrix}
\sum_{j=1}^n y_{1j} \frac{\partial L}{\partial z_{1j}} &
\sum_{j=1}^n y_{2j} \frac{\partial L}{\partial z_{1j}} &
\sum_{j=1}^n y_{3j} \frac{\partial L}{\partial z_{1j}} &
\cdots &
\sum_{j=1}^n y_{mj} \frac{\partial L}{\partial z_{1j}}\\
\vdots &&\ddots&& \vdots\\
\sum_{j=1}^n y_{1j} \frac{\partial L}{\partial z_{lj}} &
\sum_{j=1}^n y_{2j} \frac{\partial L}{\partial z_{lj}} &
\sum_{j=1}^n y_{3j} \frac{\partial L}{\partial z_{lj}} &
\cdots &
\sum_{j=1}^n y_{mj} \frac{\partial L}{\partial z_{lj}}\\
\end{pmatrix}
ここで、上記の定理より
\frac{\partial L}{\partial \boldsymbol{X}} =
\sum_{i, j}
\frac{\partial z_{ij}}{\partial \boldsymbol{X}}
\frac{\partial L}{\partial z_{ij}} =
\sum_{i=1}^l
\sum_{j=1}^n
\frac{\partial z_{ij}}{\partial \boldsymbol{X}}
\frac{\partial L}{\partial z_{ij}}
したがって
\frac{\partial L}{\partial \boldsymbol{X}} =
\begin{pmatrix}
\sum_{j=1}^n y_{1j} \frac{\partial L}{\partial z_{1j}} &
\sum_{j=1}^n y_{2j} \frac{\partial L}{\partial z_{1j}} &
\sum_{j=1}^n y_{3j} \frac{\partial L}{\partial z_{1j}} &
\cdots &
\sum_{j=1}^n y_{mj} \frac{\partial L}{\partial z_{1j}}\\
\vdots &&\ddots&& \vdots\\
\sum_{j=1}^n y_{1j} \frac{\partial L}{\partial z_{lj}} &
\sum_{j=1}^n y_{2j} \frac{\partial L}{\partial z_{lj}} &
\sum_{j=1}^n y_{3j} \frac{\partial L}{\partial z_{lj}} &
\cdots &
\sum_{j=1}^n y_{mj} \frac{\partial L}{\partial z_{lj}}\\
\end{pmatrix}
すなわち
\frac{\partial L}{\partial x_{ij}} =
\sum_{k=1}^n y_{jk} \frac{\partial L}{\partial z_{ik}} =
\sum_{k=1}^n \frac{\partial L}{\partial z_{ik}} y_{jk}
ここで、$\boldsymbol{X} \in R^{l \times m}, \boldsymbol{Y} \in R^{m \times n}, \boldsymbol{Z} \in R^{l \times n}$であり、$\boldsymbol{Z} = \boldsymbol{X} \boldsymbol{Y}$であるとき、$
z_{ij} = \sum_{k=1}^mx_{ik}y_{kj}
$であることを思い出すと、$\boldsymbol{Y} \rightarrow \boldsymbol{Y}^T$で$y_{jk} \rightarrow y_{kj}$であることを利用して
\frac{\partial L}{\partial \boldsymbol{X}} =
\frac{\partial L}{\partial \boldsymbol{Z}} \boldsymbol{Y}^T
$\frac{\partial L}{\partial \boldsymbol{X}}$が求まったので、次に$\frac{\partial L}{\partial \boldsymbol{X}}$を求める。転置行列の性質（参考)を用いて、$\boldsymbol{Z} = \boldsymbol{X} \boldsymbol{Y}$の両辺を転置すると、$\boldsymbol{Z}^T = \boldsymbol{Y}^T \boldsymbol{X}^T$が導ける。よって、先の結果と転置行列の性質を用いて
\frac{\partial L}{\partial \boldsymbol{Y}^T} =
\frac{\partial L}{\partial \boldsymbol{Z}^T} \boldsymbol{X}
すなわち
\left( \frac{\partial L}{\partial \boldsymbol{Y}} \right) ^ T =
\left( \frac{\partial L}{\partial \boldsymbol{Z}} \right) ^ T \boldsymbol{X}
両辺を転置して
\frac{\partial L}{\partial \boldsymbol{Y}} =
\boldsymbol{X}^T \frac{\partial L}{\partial \boldsymbol{Z}}