KL情報量について、なぜそのような式を使うかという説明をしているエントリがあまりないように思われたので書いてみます。内容は黒木玄さんの"Kullback-Leibler情報量とSanovの定理"をベースにしており、こちらの1-1~1-3までをお読みいただく時間があればそちらを読まれた方が良いです。いうまでもありませんが、もしこのエントリの内容に誤りがあれば、それは元のノートのせいではなく私のせいです。
$i$を状態変数とする離散分布について、真の分布$q_i$と観測された確率$p_i$があるとき、その観測結果の実現確率を$P$、観測されたレコードの数を$n$とすると、$n$が大きいとき、Kullback-Leibler情報量$D(p||q)$について、 $D(p||q) \sim -\frac{1}{n}\log P$ のような関係があります。つまり、真の分布を仮定したとき、観測された分布が起きる確率Pに関する1レコードあたりの情報量がKL情報量になっていると言えます。
以下ではこの式を導いていきます。
まず真の分布$q_i$を仮定したとき、度数$k_i$が観測される確率を求めます。
（$\sum_i k_i = n $、また$p_i = k_i /n $になります）
この確率は多項分布で求められ、
$$
P=\frac{n!}{\prod_i k_i!} \prod_i q_i^{k_i}
$$
となります1。
よって、$k_i$が大きいとしてスターリングの公式2を用いると、
\begin{align}
\log P & \sim (n \log n -n) - \sum_i (k_i \log k_i -k_i) + \sum_i k_i \log q_i\\
& \sim -n \sum_i p_i \log p_i + n \sum_i p_i \log q_i\\
& \sim -n \sum_i p_i \log \frac{p_i}{q_i}
\end{align}
よって、先ほど述べた定義から、Kullback-Leibler情報量は、
$$
D(p||q)=\sum_i p_i \log \frac{p_i}{q_i}
$$
といえます。
-
二項分布について例を挙げて導出します。
図のような並びの時、$k_1=4、 k_2=3$であり、この並びの実現確率は$q_1^{k_1} q_2^{k_2}$となります。
さらに、この並びを並び替えたものも同じ実現確率で表れますが、そのうち1どうしをシャッフルして、2どうしをシャッフルしたものは同じ数字の並びになっており、よって$k_1=4、 k_2=3$となる独立な並べ方は$n! / \prod_i k_i! = 7!/(4! \ 3!)$個となります。よって特定の$k_i$の組に対する実現確率は
$$
\frac{n!}{\prod_i k_i!} \prod_i q_i^{k_i}
$$
となります。 ↩ -
$\log n! = \sum_{k=1}^{n} \log k$を求めたいときに、この総和を積分に変えても、せいぜい$\log k$が$\log (k+1)$になるくらいの誤差しか生じず、誤差は$\mathcal{O}(\frac{1}{k})$程度になり、kが大きいときの漸近的振る舞いに影響はありません。
よって、
$$
\log n! = \sum_{k=1}^{n} \log k \
\sim \int_{1}^n \log x dx
= [x \log x]_1^n - \int_1^n dx
\sim n \log n -n
$$
となります。本来のスターリングの公式はより精密な近似を行いますが、本エントリの目的のためにはこの近似で十分です。 ↩