##はじめに
本記事は, 機械学習の教科書の決定版ともいえる, Christopher Bishop先生による『Pattern Recognition and Machine Learning (パターン認識と機械学習)』, 通称PRMLの演習問題のうち, 私が解いた問題の解答を記したものです
##問題
1.有向木によって表現される分布が、対応する無効木上の等価な分布によって表現されることを示せ
2.無向木で表現される分布が、クリープポテンシャルを適切に規格化することにより有向木で実現可能であることを示せ
3.ある与えられた無向木から構築できる異なる有向木の数を計算せよ
##解答1
一般的な有向グラフィカルの変数にわたる同時確率分布モデルは(8.5)で与えられます。
p(\mathbf{x})=\prod_{k=1}^{K} p\left(x_{k} \mid \mathrm{pa}_{k}\right)
ツリーの特定のケースでは、各ノードには単一の親があり、Pakは、空となるルートノードを除いて、各ノードkのシングルトンになります。
したがって、有効木の同時確率分布は、無効木と同様になります。
##解答2
チェーン全体の確率分布において、有向グラフを表す8.44式
p(\mathbf{x})=p\left(x_{1}\right) p\left(x_{2} \mid x_{1}\right) p\left(x_{3} \mid x_{2}\right) \cdots p\left(x_{N} \mid x_{N-1}\right)
同じ変数がいくつかの条件付き確率で条件付けバーの右側に発生する可能性があります。つまり条件には1つだけではなく、分布(つまり、各ノードは1人の親、複数の子を持つことができます)
よってこれは無向グラフの8.45式により置き換え可能です
p(\mathbf{x})=\frac{1}{Z} \psi_{1,2}\left(x_{1}, x_{2}\right) \psi_{2,3}\left(x_{2}, x_{3}\right) \cdots \psi_{N-1, N}\left(x_{N-1}, x_{N}\right)
(8.44)は(8.45)として書き直され、確率分布にも適用できます。
つまり無向木で表現される分布が、有向木で実現可能であることが示されます
##解答3
以上の議論より、無向グラフでは、ノードをルートとして任意に選択します。ルートから始まり、外側に向かって進みます。
つまり無向ツリー内のノードのすべてのペア間に一意のパスがあるため、一度ルートノードを選択すると、結果の有向ツリーの残りが表示されます。
したがって、N個のノードを持つ無向ツリーから、N個の異なる有向ツリーを構築できます。