主に〇〇分布でのパラメータの微分する際に使う公式の証明です。

逆行列

逆行列の微分

$n$次正則行列$A$は

A^{-1}A=I

を満たしている。これを$A$で微分すると

\frac{\partial A^{-1}}{\partial A}A+A^{-1}\frac{\partial A}{\partial A}=0

となるので、移項して整理すると

\begin{align}
\frac{\partial A^{-1}}{\partial A} &= -A^{-1}\frac{\partial A}{\partial A}A^{-1} \nonumber \\
    &= -A^{-1}A^{-1}
\end{align}

が得られる。

逆行列の公式

$A,B$を正方行列として

(AB)^{-1}=B^{-1}A^{-1}

となる。
これの証明は天下り的に行う。

\begin{align}
(AB)B^{-1}A^{-1} &= ABB^{-1}A^{-1} \\
&= AA^{-1} \\
&= I
\end{align}

となるので, $AB$の逆行列は$B^{-1}A^{-1}$ となる。つまり$(AB)^{-1}=B^{-1}A^{-1}$が得られる。

トレースの微分

トレースは正方行列の対角要素の和を計算する作用素である。様々な微分公式があるが１つだけ紹介する。

$tr(AB)$をAで偏微分することを考える。ここで$A\in\mathbb{R}^{n\times p}$,$B\in\mathbb{R}^{p\times n}$、$A=(a_{ij})$、$B=(b_{ji})$として

    tr(AB)=\sum_{i=1}^{n}\sum_{j=1}^{p}a_{ij}b_{ji} \nonumber

と展開される。これを1つの要素$a_{ij}$で微分することを考える。

    \frac{\partial tr(AB)}{\partial a_{ij}}
    =b_{ji} \nonumber

となる。よって

    \frac{\partial tr(AB)}{\partial A}=B^T

が得られる。

行列式

行列式の微分

$n$次正方行列$A=(a_{ij})$とし、第$i$行と第$j$列を取り除いて得られる$n-1$次の行列を$A_{ij}$とする。これは主小行列とも呼ばれる。また$(-1)^{i+j}A_{ij}$を$\triangle_{ij}$とおき、これらを利用して行列式の第$j$列に関する余因子展開は

\begin{align}
   |A|&=(-1)^{1+j}a_{1j}|A_{1j}|+・・・+(-1)^{n+j}a_{nj}|A_{nj}|  \\
   &= a_{1j}\triangle_{1j}+・・・+ a_{nj}\triangle_{nj} 
\end{align}

と書き表すことができ、第$i$行に関しても同様に得ることができる。これより

   \frac{\partial |A|}{\partial a_{ij}}= \triangle_{ij}

を得ることができる。$\tilde{a_{ij}}=(-1)^{i+j}|A_{ji}|=\triangle_{ji}$が要素となる余因子行列$\tilde{A}=(\tilde{a_{ij}})$は$A^{-1}=\frac{1}{|A|}\tilde{A}$となることを利用して、

\begin{align}
   \frac{\partial |A|}{\partial A}&=\tilde{A}^T \\
   &=|A|(A^{-1})^T 
\end{align}

となる。

logdetの微分

対数尤度関数を微分する際にでてきます。普通のlogの微分公式と上の公式を利用して導けます。

\begin{align}
   \frac{\partial log|A|}{\partial A}&=
    \frac{1}{|A|}\frac{\partial |A|}{\partial A}  \\
    &=(A^{-1})^T \\
&=(A^T)^{-1} 
\end{align}