1. はじめに
今回は、機械学習の分野において重要な役割を担う連続確率分布である「ガウス分布」に焦点を当てて話していきます。
2. 一次元ガウス分布
ー次元ガウス分布
：確率密度関数で表される$x∈\mathbb{R}$ を生成する確率分布であり、一次元ガウス分布の定義式は以下のようになります。
$$
N(x｜\mu,\sigma^2) = -\frac{1}{\sqrt{2\pi\sigma^2}}exp\Big\lbrace-\frac{(x-\mu)^2}{2\sigma^2} \Big\rbrace \\
[exp(a) = e^a, \mu∈\mathbb{R}:平均パラメータ, \sigma^2∈\mathbb{R}^+:分散パラメータ]
$$
[期待値]
$$
\mathbb{E}(x) = \mu
$$
[エントロピー]
$$
H[N(x｜\mu, \sigma^2)] = \frac{1}{2}(1+ln\sigma^2+ln2\pi)
$$
3. 多次元ガウス分布
多次元ガウス分布
：一次元ガウス分布をより一般的なD次元に拡張したものです。
これはベクトル$x∈\mathbb{R}^D$を生成するための確率分布であり、定義式は以下のようになります。
$$
N(x｜μ,Σ) = \frac{1}{\sqrt{(2\pi)^D|Σ|}}exp\Big\lbrace-\frac{1}{2}(x-\mu)^TΣ^{-1}(x-\mu) \Big\rbrace \\
[exp(a) = e^a, \mu∈\mathbb{R}^D:平均パラメータ, Σ:R×R共分散行列パラメータ,|Σ|:Σの行列式を返す関数]
$$
[期待値]
$$
\mathbb{E}(x) = \mu \\
[\mu:∈\mathbb{R}^D]
$$
[エントロピー]
$$
H[N(x｜\mu, \sigma^2)] = \frac{1}{2}(ln|Σ|+D(ln2\pi+1))
$$
[注意点]
一般的に、D次元のガウス分布は、一次元のガウス分布をD個掛け合わせたものとは異なります。
4. まとめ
今回はエントロピーの導出をせず、結果だけ記入した形なので次で自分が初見で？となった導出部分などに触れながらエントロピーやKLダイバージェンスの導出に触れていきます。
5. 参考資料
◆ベイズの学習教材:機械学習スタートアップシリーズ ベイズ推論による機械学習入門
◆Markdownの参考資料: 数学の景色