主に〇〇分布でのパラメータの微分する際に使う公式の証明です。
#逆行列
##逆行列の微分
$n$次正則行列$A$は
A^{-1}A=I
を満たしている。これを$A$で微分すると
\frac{\partial A^{-1}}{\partial A}A+A^{-1}\frac{\partial A}{\partial A}=0
となるので、移項して整理すると
\begin{align}
\frac{\partial A^{-1}}{\partial A} &= -A^{-1}\frac{\partial A}{\partial A}A^{-1} \nonumber \\
&= -A^{-1}A^{-1}
\end{align}
が得られる。
逆行列の公式
$A,B$を正方行列として
(AB)^{-1}=B^{-1}A^{-1}
となる。
これの証明は天下り的に行う。
\begin{align}
(AB)B^{-1}A^{-1} &= ABB^{-1}A^{-1} \\
&= AA^{-1} \\
&= I
\end{align}
となるので, $AB$の逆行列は$B^{-1}A^{-1}$ となる。つまり$(AB)^{-1}=B^{-1}A^{-1}$が得られる。
#トレースの微分
トレースは正方行列の対角要素の和を計算する作用素である。様々な微分公式があるが１つだけ紹介する。
$tr(AB)$をAで偏微分することを考える。ここで$A\in\mathbb{R}^{n\times p}$,$B\in\mathbb{R}^{p\times n}$、$A=(a_{ij})$、$B=(b_{ji})$として
tr(AB)=\sum_{i=1}^{n}\sum_{j=1}^{p}a_{ij}b_{ji} \nonumber
と展開される。これを1つの要素$a_{ij}$で微分することを考える。
\frac{\partial tr(AB)}{\partial a_{ij}}
=b_{ji} \nonumber
となる。よって
\frac{\partial tr(AB)}{\partial A}=B^T
が得られる。
#行列式
##行列式の微分
$n$次正方行列$A=(a_{ij})$とし、第$i$行と第$j$列を取り除いて得られる$n-1$次の行列を$A_{ij}$とする。これは主小行列とも呼ばれる。また$(-1)^{i+j}A_{ij}$を$\triangle_{ij}$とおき、これらを利用して行列式の第$j$列に関する余因子展開は
\begin{align}
|A|&=(-1)^{1+j}a_{1j}|A_{1j}|+・・・+(-1)^{n+j}a_{nj}|A_{nj}| \\
&= a_{1j}\triangle_{1j}+・・・+ a_{nj}\triangle_{nj}
\end{align}
と書き表すことができ、第$i$行に関しても同様に得ることができる。これより
\frac{\partial |A|}{\partial a_{ij}}= \triangle_{ij}
を得ることができる。$\tilde{a_{ij}}=(-1)^{i+j}|A_{ji}|=\triangle_{ji}$が要素となる余因子行列$\tilde{A}=(\tilde{a_{ij}})$は$A^{-1}=\frac{1}{|A|}\tilde{A}$となることを利用して、
\begin{align}
\frac{\partial |A|}{\partial A}&=\tilde{A}^T \\
&=|A|(A^{-1})^T
\end{align}
となる。
##logdetの微分
対数尤度関数を微分する際にでてきます。普通のlogの微分公式と上の公式を利用して導けます。
\begin{align}
\frac{\partial log|A|}{\partial A}&=
\frac{1}{|A|}\frac{\partial |A|}{\partial A} \\
&=(A^{-1})^T \\
&=(A^T)^{-1}
\end{align}
となる。