目的

ベイズ推論による機械学習入門の勉強用のノート。
式を後で参照するために残しておく。

関連

ベイズ推論の勉強用ノート（１）ー基本的な定義
 ベイズ推論の勉強用ノート（２）ー離散確率分布
 ベイズ推論の勉強用ノート（３）ー連続確率分布
 ベイズ推論の勉強用ノート（４）ー事後分布の推定
 ベイズ推論の勉強用ノート（５）ー予測分布の推定

条件付き確率分布とグラフィカルモデル

head-to-tail モデル

以下の図で、表現されるグラフィカルモデルを、head-to-tail モデルという。($y$ を基準に、接続しているのが、矢印のhead（先端）とtail（直線）になっている。)

ノード（確率変数）$y$ のみが観測された時の残り２つのノード（確率変数）の条件付き同時分布は、以下の式で表される。

\begin{align}
p(x, z|y) &= \frac{p(x, y, z)}{p(y)} \\
&= \frac{p(x)p(y|x)p(z|y)}{p(y)} \\
&= \frac{p(x)p(y|x)}{p(y)}p(z|y) \\
&= p(x|y)p(z|y) \\
\end{align}

この式は、$y$ が観測された時、$x$、$z$ が独立していることを示している。（つまり、$x$、$z$ は、$y$について条件付き独立）

tail-to-tail モデル

以下の図で、表現されるグラフィカルモデルを、tail-to-tail モデルという。($y$ を基準に、接続しているのが、矢印のtail（直線）のみになっている。)

\begin{align}
p(x, z|y) &= \frac{p(x, y, z)}{p(y)} \\
&= \frac{p(y)p(x|y)p(z|y)}{p(y)} \\
&= p(x|y)p(z|y) \\
\end{align}

この式も、$y$ が観測された時、$x$、$z$ が独立していることを示している。

head-to-head モデル

以下の図で、表現されるグラフィカルモデルを、head-to-headモデルという。($y$ を基準に、接続しているのが、矢印のhead（先端）のみになっている。)

まず、$x$、$z$ の同時分布を計算する。

\begin{align}
p(x, z) &= \int_{y} p(x, y, z)dy \\
&= \int_{y} p(y|x, z)p(x)p(z)dy \\
&= p(x)p(z)\int_{y} p(y|x, z)dy \\
&= p(x)p(z) \cdot 1 \\
&= p(x)p(z) \\
\end{align}

$\int_{y} p(y|x, z)dy = 1$ であることに留意する
- 条件付き確率分布 $p(\cdot|x, z)$ は、確率測度である
- つまり、$\int_{y} p(y|x, z)dy = p(\bigcup_{y}\{\omega | Y(\omega)=y\}|x,z) = p(Y^{-1}(Y(\Omega))|x, z) = p(\Omega|x, z) = 1$

$y$ が観測された元での、$x$、$z$ の同時分布は、以下のようになる。

\begin{align}
p(x, z|y) &= \frac{p(x, y, z)}{p(y)} \\
&= \frac{p(y|x, z)p(x, z)}{p(y)} \\
&= \frac{p(y|x, z)p(x)p(z)}{p(y)} \\
\end{align}

この式は、これ以上分解できないため、条件付き独立の形に分解できない。
これは、もともと独立であった、$x$、$z$が、$y$ が観測されることにより、依存関係を持つようになることを示している。

マルコフブランケット(Markov Branket)

$x$ を中心に、周辺を切り取ったグラフィカルモデルである。
$x$以外のノードは、観測されているものとする。

$x$、$a$ の関係性
- $a$ の$x$以外の子ノードとは、tail-to-tail モデル
- $a$ の親ノードとは、head-to-tail モデル
- つまり、$a$ が観測されている状態では、これら$a$の親子ノードは、$x$と条件付き独立
$x$、$e$ の関係性
- $e$ の子ノードとは、head-to-tail モデル
- $e$ の親ノード(ex: $c$)とは、head-to-head モデル
- つまり、$e$の子ノードとは条件付き独立であるが、$c$のような$e$の親ノードとは、依存関係を持つ
$x$、$c$ の関係性
- $c$、$c$ の親ノードと$e$ は、head-to-tail モデル
- $c$、$c$ の子ノードと$e$ は、tail-to-tail モデル
- つまり、$c$ の親子ノードと$e$は、$c$に対する条件付き独立
- ノード$e$で、関係が切れているので、$c$ の親子ノードと$x$ は、独立
- $c$の親ノード、子ノードをそれぞれ、$z$、$y$として、グラフィカルモデルから $z$、$y$と$x$が条件付き独立であることを示せる
  - $p(z, e, x, c)$、$p(y, e, x, c)$の同時分布をグラフィカルモデルに即して書き下す
  - $p(z, x|c)=p(z|c)p(x|c)$、$p(y, x|c)=p(y|c)p(x|c)$ をそれぞれ示す
  - tips: $p(x)=p(x|c)$ を示しておくとよい（つまり$x$、$c$ は独立）
$x$ と、$b$、$d$、$f$ の関係も同様

以上から、マルコフブランケットの外側に他の観測ノード（確率変数）があっても、$x$ の条件付き分布には影響を与えない（条件部分に変数として表れてこない）、という結果が得られる。

まとめ

head-to-tail モデルは、条件付き独立になる
tail-to-tail モデルは、条件付き独立になる
head-to-head モデルは、条件付き独立にならない
- ただし、$x$、$z$ は、独立
- つまり、$x$、$z$ は、独立であるが、一般に条件付き独立ではない
$x$を中心とするマルコフブランケットは、$x$ の条件付き分布に影響を与えるノード（確率変数）を端的に表現している
- あらゆるケースに対応できているわけではないが、容易に、自然に拡張して、応用して考えることができる便利なツールである