PRML 演習問題 8.8（基本） 解答

はじめに

本記事は, 機械学習の教科書の決定版ともいえる, Christopher Bishop先生による[『Pattern Recognition and Machine Learning （パターン認識と機械学習）』] (https://www.microsoft.com/en-us/research/people/cmbishop/prml-book/) , 通称PRMLの演習問題のうち, 私が解いた問題の解答を記したものです. これは, 私の所属する[生物測定学研究室] (https://www.ut-biomet.org/) の輪読会でPRMLを取り扱っており, その勉強の一環として演習問題を解いたときのものです. なお, 他の演習問題の解答例に関する記事については, [PRML　演習問題　解答集　まとめ] (https://qiita.com/Lab_of_Biomet/items/15e38ca34fafa8176d89) をご覧ください.
$$\newcommand{\indep}{\mathop{\perp\!\!\!\!\perp}}$$

問題

$a \indep b, c \mid d$ ならば $a \indep b \mid d$ であることを示せ.

解答

まず, $a \indep b, c \mid d$ は, $d$が与えられた下で, $a$ の分布と $b, c$ の同時分布が条件付き独立であることを表すので,

\begin {align*}
p \left ( a, b, c \mid d \right )  = p \left ( a \mid d \right )  p \left ( b, c \mid d \right ) 
\tag{8.8.1}
\end {align*}

と書き表わせる. この $ \left ( 8.8.1 \right ) $ 式の両辺を $c$ に関して周辺化すると,

\begin {align*}
p \left ( a, b \mid d \right )  = p \left ( a \mid d \right )  p \left ( b \mid d \right ) 
\tag{8.8.2}
\end {align*}

が得られる.
これを例の記法で書き直すと、$a \indep b \mid d$となる.
したがって, $a \indep b, c \mid d$ ならば $a \indep b \mid d$ であることが示せた. (証明終)