残り2つではあるものの、ベクトルを行列で微分、行列を行列で微分は複雑すぎてよくわからないものが導出する。
なので導出はしない。
その代わり、引き続き、スカラーを行列で微分、に試みる。
前
traceを微分
$A$, $B$をサイズ$n$の正方行列とする。
$$\frac{\partial }{\partial A}tr(AB)= B^T$$
(証明1)$AB$の$i$行$i$列目の成分は、
$$x = a_{i1}b_{1i} + a_{i2}b_{2i} + \cdots +a_{in}b_{in}$$
$$\frac{\partial }{\partial a_{ij}} x = b_{ji}$$
だから、
$$\begin{pmatrix} b_{11} & b_{21} & \cdots & b_{n1}} \ b_{12} & b_{22} & \cdots & \vdots \ \vdots & \vdots & \ddots & \ b_{1n} & & \cdots & & b_{nn} \end{pmatrix} = B^T $$
証明２
行列のブロック化。
$$A= \begin{pmatrix} \boldsymbol a^1 \\ \boldsymbol a^2 \\ \boldsymbol a^3 \\ \vdots \\ \boldsymbol a^n \end{pmatrix}$$
$$B= \begin{pmatrix} \boldsymbol b_1 & \boldsymbol b_2 & \boldsymbol b_3 \cdots & \boldsymbol b_n \end{pmatrix}$$とする。(列成分を縦ベクトルとみなした。)
$$AB = \begin{pmatrix} \boldsymbol a^1 \\ \boldsymbol a^2 \\ \boldsymbol a^3 \\ \vdots \\ \boldsymbol a^n \end{pmatrix} \begin{pmatrix} \boldsymbol b_1 & \boldsymbol b_2 & \boldsymbol b_3 \cdots & \boldsymbol b_n \end{pmatrix}$$
$$\frac{\partial }{\partial A} trAB = \begin{pmatrix} \frac{\partial f}{\partial a_{11}} & \frac{\partial f}{\partial a_{12}} & \cdots & \frac{\partial f}{\partial a_{1n}}\\ \frac{\partial f}{\partial a_{21}} & \frac{\partial f}{\partial a_{22}} & \cdots & \vdots \\ \vdots & \vdots & \ddots & \\ \frac{\partial f}{\partial a_{n1}} & \cdots & & \frac{\partial f}{\partial a_{nn}}\end{pmatrix}tr \begin{pmatrix} \boldsymbol a^1 \\ \boldsymbol a^2 \\ \boldsymbol a^3 \\ \vdots \\ \boldsymbol a^n \end{pmatrix} \begin{pmatrix} \boldsymbol b_1 & \boldsymbol b_2 & \boldsymbol b_3 \cdots & \boldsymbol b_n \end{pmatrix}$$
$$\begin{pmatrix} \frac{\partial f}{\partial \boldsymbol a^1}^T \\ \frac{\partial f}{\partial\boldsymbol a^2}^T \\ \vdots \\ \end{pmatrix}\begin{pmatrix} \boldsymbol a^1\boldsymbol b_1 +\boldsymbol a^2\boldsymbol b_2 + \boldsymbol a^3\boldsymbol b_3 +\cdots + \boldsymbol a^n\boldsymbol b_n\end{pmatrix}$$
$$=\begin{pmatrix} {\boldsymbol b_1}^T \\ {\boldsymbol b_2}^T
\\ {\boldsymbol b_3}^T \\ \vdots \\ {\boldsymbol b_n}^T \end{pmatrix}= B^T$$
結局スカラー量を微分しているのだから、
$$\frac{\partial }{\partial A}tr(BA)= B^T$$
とりあえずこのシリーズはこれで終わりです。
(終)