目次
######4, ラプラス近似
###4, ラプラス近似
ラプラス近似というフレームワークの紹介する。
まず連続な１変数$z$の場合を考え、以下の式で定義される分布$p(z)$を仮定する。
$$p(z)=\frac{1}{Z}f(z). ...(4.125)$$
ここで,$Z=\int f(z)dz$は正規化係数である。Zの値は未知であると仮定する。ラプラス法の目的は、分布$p(z)$のモードを中心とするガウス分布による近似を見つけることである。まず$p(z)$のモードを見つける。言い換えれば、$p'(z_0) = 0$、または、等価な
$$\frac{df(z)}{dz}|z=z_0 = 0$$
を満たす$z_0$を見つけることである。
ガウス分布は、その対数が変数の２次関数であるという特性を持っている。そこで、モード$z_0$を中心とした$lnf(z)$のテイラー展開を考える
$$lnf(z)\simeq lnf(z_0)- \frac{1}{2}A(z - z_0)^2 ....(4.127) $$
ここで
$$A= - \frac{d^2}{dz^2}lnf(z)|z=z_0$$
である。$z_0$が分布の局所最大値であるので、テイラー展開の１次項は現れないことに注意されたい。
このテイラー展開の指数を取ると
$$f(z)\simeq lnf(z_0)exp(-\frac{A}{2}(z-z_0)^2) ... (4.129)$$
を得る。ガウス分布の正規化のための標準的な結果を利用すると、正規化分布$q(z)$を得ることができ、
$$q(z)=(\frac{A}{2\pi})^{\frac{1}{2}}exp(-\frac{A}{2}(z-z_0)^2) ...(4.130)$$
となる。
$$lnf(z)\simeq lnf(z_0)- \frac{1}{2}(z-z_0)^TA(z-z_0) ... (4.131)$$
となる。ここでM×Mのヘッセ行列A
$$A = - \nabla\nabla lnf(z)|z=z_0 ...(4.132)$$
で定義され、$\nabla$は勾配オペレーターである。両辺の指数を取ると
$$f(z)\simeq f(z_0)exp(-\frac{1}{2}(z-z_0)^T) ... (4.133)$$
が得られる。分布$q(z)$は$f(z)$に比例しており、正規化された多変量ガウス分布に対する、標準的な結果(2.43)を使うことによって、適切な正規化係数を決めることができ、
q(z) = \frac{|A|^{\frac{1}{2}}}{(2\pi)^{\frac{M}{2}}}exp(-\frac{1}{2}(z-z_0)^T(z-z_0)) = N(z|z_0,A^{-1}) ...(4.134)
となる。ここで|A|はAの行列式を表す。Aで表せる精度行列が正定値行列である。であり、すなわち、定常点$z_0$局所最大であって、局所最小または鞍点でない場合には、このガウス分布が適切に定義される。
ラプラス近似を適用するには、まずはモード$z_0$を見つける必要があり、そのモードでヘッセ行列を評価する必要がある。実際には、一般的にモードは何らかの数値最適解アルゴリズムで求めることができる。