LoginSignup
2
1

More than 5 years have passed since last update.

Gaussianの積と表現

Posted at

正規分布(Gaussian)は確率論や統計学で最も基本となる確率分布ですね。$N$変数の正規分布はその平均値$\mu$と共分散行列$\Sigma$を定めると一つ決まります。

$$
\mathcal{N}[\mu, \Sigma](x) \propto \exp\left(-(x-\mu)^T \Sigma^{-1} (x-\mu) /2\right)
$$

(規格化定数は省略)
$\mu$と$\Sigma$それぞれ次の式を満たします

$$
\mu = \int x \mathcal{N}[\mu, \Sigma](x) dx
$$ $$
\Sigma_{ij} = \int (x-\mu)_i (x-\mu)_j \mathcal{N}[\mu, \Sigma](x) dx
$$

この表記は畳み込み積
$$
(p * q)(x) = \int p(y-x)q(x)dx
$$
と相性がよく、$p = \mathcal{N}[\mu_1, \Sigma_1]$, $q = \mathcal{N}[\mu_2, \Sigma_2]$の時、$p*q = \mathcal{N}[\mu_1 + \mu_2, \Sigma_1 + \Sigma_2]$が成り立ちます。確率分布の周辺化と聞くと難しそうですが、正規分布の場合にはただの足し算ですね。

さて、確率論ではもう一つ積が出てきます
$$
p(x|y) \propto p(y|x) p(x)
$$
みんな大好きベイズの定理です。$p(y|x)$には真の値$x$に対してノイズの乗った観測値$y$のような場合が典型的に入るので、これは正規分布になっている(仮定する)ことが多いですね。Gaussianはこの積に対してどう振る舞うでしょうか?
$$
\mathcal{N}[\mu_1, \Sigma_1](x)\mathcal{N}[\mu_2, \Sigma_2](x) \propto \exp\left(-(x-\mu_1)^T \Sigma_1^{-1} (x-\mu_1) /2 -(x-\mu_2)^T \Sigma_2^{-1} (x-\mu_2) /2\right)
$$
この右辺は$x$の二次方程式なので平方完成すればよくて、
$$
\Sigma = (\Sigma_1^{-1} + \Sigma_2^{-1})^{-1}
$$ $$
\mu = \Sigma ( \Sigma_1^{-1} \mu_1 + \Sigma_2^{-1} \mu_2)
$$
となります。なにやら難解な事になりましたが、よく見ると次のように書けます
$$
\Sigma^{-1} = \Sigma_1^{-1} + \Sigma_2^{-1}
$$ $$
\Sigma^{-1}\mu = \Sigma_1^{-1} \mu_1 + \Sigma_2^{-1} \mu_2
$$
この形から察するに、正規分布を$(\mu, \Sigma)$の組ではなく、$(\xi=\Sigma^{-1}\mu, \Omega=\Sigma^{-1})$の組で定めておけば、この積に対して単純に振る舞うことが分かります。
$$
\xi = \xi_1 + \xi_2
$$ $$
\Omega = \Omega_1 + \Omega_2
$$
正規分布が縮退していない($\Sigma$が正定値行列)の場合にはこれらは1対1に対応するので、$(\xi, \Omega)$の組もまた正規分布を一つ定める事が分かります。実はこの$(\xi, \Omega)$は指数型分布族で言う自然パラーメタと呼ばれる量になっていて、この関係も指数型分布族一般になりたつものです。

このように確率論において確率分布に対する重要な二つの積が正規分布の表現を工夫することで足し算・行列積・逆行列の計算に書き下せることを見ました。

本題

この$\xi$と$\Omega$、及び後者の積は名前がついてる概念だと思うのですが、名前を知らないのでプログラムを書くときに困っています。誰か教えてください。。。

2
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
1