はじめに
本記事は, 機械学習の教科書の決定版ともいえる, Christopher Bishop先生による『Pattern Recognition and Machine Learning （パターン認識と機械学習）』 , 通称PRMLの演習問題のうち, 私が解いた問題の解答を記したものです. これは, 私の所属する生物測定学研究室 の輪読会でPRMLを取り扱っており, その勉強の一環として演習問題を解いたときのものです. なお, 他の演習問題の解答例に関する記事については, PRML 演習問題 解答集 まとめ をご覧ください.
$$\newcommand{\indep}{\mathop{\perp\!\!\!\!\perp}}$$
問題
$a \indep b, c \mid d$ ならば $a \indep b \mid d$ であることを示せ.
解答
まず, $a \indep b, c \mid d$ は, $d$が与えられた下で, $a$ の分布と $b, c$ の同時分布が条件付き独立であることを表すので,
\begin {align*}
p \left ( a, b, c \mid d \right ) = p \left ( a \mid d \right ) p \left ( b, c \mid d \right )
\tag{8.8.1}
\end {align*}
と書き表わせる. この $ \left ( 8.8.1 \right ) $ 式の両辺を $c$ に関して周辺化すると,
\begin {align*}
p \left ( a, b \mid d \right ) = p \left ( a \mid d \right ) p \left ( b \mid d \right )
\tag{8.8.2}
\end {align*}
が得られる.
これを例の記法で書き直すと、$a \indep b \mid d$となる.
したがって, $a \indep b, c \mid d$ ならば $a \indep b \mid d$ であることが示せた. (証明終)