1.はじめに
前稿でさらっと流したガウス分布のエントロピーの導出について、初見でトレースなどの理解があまりなく分からなかった多次元ガウス分布に焦点を当て、確認も兼ねて記述していきます。
文章よりも数式が多めなのはご了承ください。
また本稿は、参考資料に則り期待値を$\mathbb{E}(・)$ではなく、<・>と表記します。
2.正方行列のトレース(trace)の性質
- トレースとは、正方行列の対角成分を足し合わせる操作のことで以下のように定義されます。
$$
Tr(\boldsymbol{A}) = \sum_{n = 1}^{N}A_{n, n} \\
[\boldsymbol{A}:N\times Nの正方行列, A_{n,n}:正方行列\boldsymbol{A}のn行n列目の対角成分]
$$
この定義式から様々な性質を持つトレースですが、その中から以下の性質を今回は用います。
$$
Tr(x) = x \qquadー①\\
\\
Tr(\boldsymbol{AB}) = Tr(\boldsymbol{BA})\quadー②\\
[x:scalar, \lbrace A,B\rbrace:N\times Nの正方行列]
$$
3.多次元ガウス分布のエントロピー
多次元ガウス分布のエントロピーは以下のようになります。
$$
H[N(\boldsymbol{x}｜\mu,Σ)] = \frac{1}{2} \big\lbrace ln|Σ|+D(ln2\pi+1) \\ [\mu:平均パラメータ, Σ:共分散行列パラメータ, D:次元数]
$$
この計算過程について考えていきます。
$$
\begin{align}
H[N(\boldsymbol{x}｜\mu,Σ)] &= -<lnN(\boldsymbol{x}|\mu, TΣ)> \\
&=- <ln\big[\frac{1}{\sqrt{(2\pi)^D|Σ|}}exp\big\lbrace-\frac{1}{2}(\boldsymbol{x}-\mu)^{T}Σ^{-1}(\boldsymbol{x}-\mu)\big\rbrace\big]> \\
&=- <-\frac{1}{2}\big\lbrace(\boldsymbol{x}-\mu)^{T}Σ^{-1}(\boldsymbol{x}-\mu)+Dln2\pi+ln|Σ|\big\rbrace>\\
&\boldsymbol{x}についての期待値を考えているため \\
&=\frac{1}{2}\big\lbrace<(\boldsymbol{x}-\mu)^{T}Σ^{-1}(\boldsymbol{x}-\mu)>+Dln2\pi+ln|Σ|\big\rbrace\\
&①の性質より\\
&= \frac{1}{2}\big\lbrace Tr(<(\boldsymbol{x}-\mu)^{T}Σ^{-1}(\boldsymbol{x}-\mu)>)+Dln2\pi+ln|Σ|\big\rbrace\\
&②の性質より\\
&=\frac{1}{2}\big\lbrace Tr(<(\boldsymbol{x}-\mu)(\boldsymbol{x}-\mu)^{T}Σ^{-1}>)+Dln2\pi+ln|Σ|\big\rbrace\\
&Tr内を展開して\\
&= \frac{1}{2}\big\lbrace Tr((<\boldsymbol{x}\boldsymbol{x}^T>-\mu <\boldsymbol{x}>-< \boldsymbol{x}>\mu+ \mu\mu^{T})Σ^{-1}>)+Dln2\pi+ln|Σ|\big\rbrace\\
&< \boldsymbol{x}>= \mu,< \boldsymbol{xx^T}>= \mu\mu^{T}+Σより\\
&= \frac{1}{2}\big\lbrace Tr(ΣΣ^{-1})+Dln2\pi+ln|Σ|\big\rbrace\\
&Σは正方行列より逆行列との積は、D次元の単位行列I_Dで表すことができるため\\
&= \frac{1}{2}\big\lbrace Tr(I_D)+Dln2\pi+ln|Σ|\big\rbrace\\
&単位行列の対角和は次元数と等しいため\\
&= \frac{1}{2}\big\lbrace D+Dln2\pi+ln|Σ|\big\rbrace\\
&よってDについてまとめることで、今回求めたかった以下の式がでてくる。\\
&= \frac{1}{2} \big\lbrace ln|Σ|+D(ln2\pi+1)\big\rbrace
\end{align}
$$
4.まとめ
今回は多次元ガウス分布の乱雑さを表すエントロピーの導出過程について述べました。
トレースの性質や、線形代数をある程度理解しているうえで式展開をしているサイトが多々見えたので詳細部分についてまとめました。
参考になれば幸いです。