はじめに
訳あって、奥村学氏の『トピックモデルによる 統計的潜在意味解析』を読むことになったので、自分のブレストのために、また皆さんの理解を深めるための記録を残したいと思います。内容としては、プログラミング経験者の為のものではなく、数式には強いけどプログラミングは初めてという方に向けています。
読むにあたっての注意
コードはほとんど登場しません。個人的にポイントだなと思った点をまとめているだけなので、一度該当の箇所を読まれてからをお勧めします。また間違いがあれば、ご連絡いただけると幸甚です。
2章, Latent Dirichlet Allocation (LDA法)
内容を踏まえて、次を考えてみてください。
1. 多項分布とDirichlet分布の違いを説明せよ。
2. p(π│x,α)とp(π│α)の違い、また$α$とは何か。
3. $k=z_{d,i}$とは、どういうことか？グラフィカルモデルを用いて説明せよ。
4. $ϕ_v$ではなく、$ϕ_k$を考える理由を述べよ。
回答（参考）
1. 多項分布とDirichlet分布の違いを説明せよ。
Dirichlet分布は、仮想的なパラメタ$α$を用いて確率変数$π$を生成する分布である。一旦$π$が生成されれば、これは$x$の多項分布におけるパラメタとなる。多項分布は実際の観測値に分布を与えるのに対し、Dirichlet分布は確率変数そのものを生成する。
2. p(π│x,α)とp(π│α)の違い、またαとは何か。
$p(π│x,α)$とは、仮想的なパラメタ$α$に観測$x$を加算した事後分布であり、n_k+α_k(k=1,2,…,K)をパラメタとするディリクレ分布である。 一方、事前分布 p(π│α)とは、$α_k (k=1,2,…,K)$のみをパラメタとするディリクレ分布となる。したがって、Dirichlet分布は多項分布の事前分布となるが、同時にDirichlet分布は多項分布の頻度n_k$をガンマ関数を用いて実数に拡張したものなので、共役事前分布とも言える。