目的
ベイズ推論による機械学習入門の勉強用のノート。
式を後で参照するために残しておく。
関連
ベイズ推論の勉強用ノート(1)ー 基本的な定義
ベイズ推論の勉強用ノート(2)ー 離散確率分布
ベイズ推論の勉強用ノート(3)ー 連続確率分布
ベイズ推論の勉強用ノート(4)ー 事後分布の推定
ベイズ推論の勉強用ノート(5)ー 予測分布の推定
条件付き確率分布とグラフィカルモデル
head-to-tail モデル
以下の図で、表現されるグラフィカルモデルを、head-to-tail モデルという。($y$ を基準に、接続しているのが、矢印のhead(先端)とtail(直線)になっている。)
ノード(確率変数)$y$ のみが観測された時の残り2つのノード(確率変数)の条件付き同時分布は、以下の式で表される。
\begin{align}
p(x, z|y) &= \frac{p(x, y, z)}{p(y)} \\
&= \frac{p(x)p(y|x)p(z|y)}{p(y)} \\
&= \frac{p(x)p(y|x)}{p(y)}p(z|y) \\
&= p(x|y)p(z|y) \\
\end{align}
この式は、$y$ が観測された時、$x$、$z$ が独立していることを示している。(つまり、$x$、$z$ は、$y$について条件付き独立)
tail-to-tail モデル
以下の図で、表現されるグラフィカルモデルを、tail-to-tail モデルという。($y$ を基準に、接続しているのが、矢印のtail(直線)のみになっている。)
\begin{align}
p(x, z|y) &= \frac{p(x, y, z)}{p(y)} \\
&= \frac{p(y)p(x|y)p(z|y)}{p(y)} \\
&= p(x|y)p(z|y) \\
\end{align}
この式も、$y$ が観測された時、$x$、$z$ が独立していることを示している。
head-to-head モデル
以下の図で、表現されるグラフィカルモデルを、head-to-headモデルという。($y$ を基準に、接続しているのが、矢印のhead(先端)のみになっている。)
まず、$x$、$z$ の同時分布を計算する。
\begin{align}
p(x, z) &= \int_{y} p(x, y, z)dy \\
&= \int_{y} p(y|x, z)p(x)p(z)dy \\
&= p(x)p(z)\int_{y} p(y|x, z)dy \\
&= p(x)p(z) \cdot 1 \\
&= p(x)p(z) \\
\end{align}
- $\int_{y} p(y|x, z)dy = 1$ であることに留意する
- 条件付き確率分布 $p(\cdot|x, z)$ は、確率測度である
- つまり、$\int_{y} p(y|x, z)dy = p(\bigcup_{y}\{\omega | Y(\omega)=y\}|x,z) = p(Y^{-1}(Y(\Omega))|x, z) = p(\Omega|x, z) = 1$
$y$ が観測された元での、$x$、$z$ の同時分布は、以下のようになる。
\begin{align}
p(x, z|y) &= \frac{p(x, y, z)}{p(y)} \\
&= \frac{p(y|x, z)p(x, z)}{p(y)} \\
&= \frac{p(y|x, z)p(x)p(z)}{p(y)} \\
\end{align}
この式は、これ以上分解できないため、条件付き独立の形に分解できない。
これは、もともと独立であった、$x$、$z$が、$y$ が観測されることにより、依存関係を持つようになることを示している。
マルコフブランケット(Markov Branket)
$x$ を中心に、周辺を切り取ったグラフィカルモデルである。
$x$以外のノードは、観測されているものとする。
- $x$、$a$ の関係性
- $a$ の$x$以外の子ノードとは、tail-to-tail モデル
- $a$ の親ノードとは、head-to-tail モデル
- つまり、$a$ が観測されている状態では、これら$a$の親子ノードは、$x$と条件付き独立
- $x$、$e$ の関係性
- $e$ の子ノードとは、head-to-tail モデル
- $e$ の親ノード(ex: $c$)とは、head-to-head モデル
- つまり、$e$の子ノードとは条件付き独立であるが、$c$のような$e$の親ノードとは、依存関係を持つ
- $x$、$c$ の関係性
- $c$、$c$ の親ノードと$e$ は、head-to-tail モデル
- $c$、$c$ の子ノードと$e$ は、tail-to-tail モデル
- つまり、$c$ の親子ノードと$e$は、$c$に対する条件付き独立
- ノード$e$で、関係が切れているので、$c$ の親子ノードと$x$ は、独立
- $c$の親ノード、子ノードをそれぞれ、$z$、$y$として、グラフィカルモデルから $z$、$y$と$x$が条件付き独立であることを示せる
- $p(z, e, x, c)$、$p(y, e, x, c)$の同時分布をグラフィカルモデルに即して書き下す
- $p(z, x|c)=p(z|c)p(x|c)$、$p(y, x|c)=p(y|c)p(x|c)$ をそれぞれ示す
- tips: $p(x)=p(x|c)$ を示しておくとよい(つまり$x$、$c$ は独立)
- $x$ と、$b$、$d$、$f$ の関係も同様
以上から、マルコフブランケットの外側に他の観測ノード(確率変数)があっても、$x$ の条件付き分布には影響を与えない(条件部分に変数として表れてこない)、という結果が得られる。
まとめ
- head-to-tail モデルは、条件付き独立になる
- tail-to-tail モデルは、条件付き独立になる
- head-to-head モデルは、条件付き独立にならない
- ただし、$x$、$z$ は、独立
- つまり、$x$、$z$ は、独立であるが、一般に条件付き独立ではない
- $x$を中心とするマルコフブランケットは、$x$ の条件付き分布に影響を与えるノード(確率変数)を端的に表現している
- あらゆるケースに対応できているわけではないが、容易に、自然に拡張して、応用して考えることができる便利なツールである