はじめに
私の所属する生物測定学研究室では週一回のペースでパターン認識と機械学習(prml)の輪読会をしています。輪読会では、読むだけでなく実際に演習問題を解き、理解を深めています。今月から第10章に入り、演習問題10.6が私の担当となりましたので、ここにその解法をまとめようと思います。
証明内容
以下の式(通称αダイバージェンス)が$\alpha\rightarrow1$の極限でKLダイバージェンス$KL(p|q)$に、$\alpha\rightarrow-1$の極限でKLダイバージェンス$KL(q|p)$になることを示せ。
f(\alpha)=\frac{4}{1-\alpha^2}\Bigl\lbrace1-\int p(x)^{(1+\alpha)/2}q(x)^{(1-\alpha)/2}dx\Bigr\rbrace
証明
ヒントにあるように、$\epsilon$が小さいとき、$p(x)^{\epsilon}~\sim1+\epsilon \ln p(x)$となることを活用する。
$\alpha\rightarrow1$の極限の場合
$\alpha\rightarrow1$の極限では$(1-\alpha)/2$は十分小さくなるため、$q(x)^{(1-\alpha)/2}~\sim 1+ \frac{1-\alpha}{2}\ln q(x)$が成り立つ。
従って
f(\alpha)\sim \frac{4}{1-\alpha^2}\Bigl\lbrace1-\int p(x)^{(1+\alpha)/2}\Big(1+ \frac{1-\alpha}{2}\ln q(x)\Big)dx\Bigr\rbrace
これを変形すると
f(\alpha)\sim \frac{4}{1-\alpha^2}\Bigl\lbrace1-\int p(x)^{(1+\alpha)/2}dx-\int p(x)^{(1+\alpha)/2}(\frac{1-\alpha}{2})\ln q(x)dx\Bigr\rbrace
ここで、$\frac{4}{1-\alpha^2}$を分配すると、
f(\alpha)\sim \frac{4}{1-\alpha^2}\Bigl\lbrace1-\int p(x)^{(1+\alpha)/2}dx\Bigr\rbrace-\frac{4}{1-\alpha^2}\Bigl\lbrace\int p(x)^{(1+\alpha)/2}(\frac{1-\alpha}{2})\ln q(x)dx\Bigr\rbrace
整理すると、
f(\alpha)\sim \frac{4}{1-\alpha^2}\Bigl\lbrace1-\int p(x)^{(1+\alpha)/2}dx\Bigr\rbrace-\frac{2}{1+\alpha}\Bigl\lbrace\int p(x)^{(1+\alpha)/2}\ln q(x)dx\Bigr\rbrace
第二項は$\alpha\rightarrow1$の極限で$\int p(x)\ln q(x)dx$になることが分かる。
次に第一項名を考える。$1=\int p(x)dx$なので、これを代入すると、
f(\alpha)\sim \frac{4}{1-\alpha^2}\Bigl\lbrace\int \Big(p(x)- p(x)^{(1+\alpha)/2}\Big)dx\Bigr\rbrace-\frac{2}{1+\alpha}\Bigl\lbrace\int p(x)^{(1+\alpha)/2}\ln q(x)dx\Bigr\rbrace
さらに変形すると
f(\alpha)\sim \frac{4}{1-\alpha^2}\Bigl\lbrace\int p(x)\Big(1- p(x)^{(\alpha-1)/2}\Big)dx\Bigr\rbrace-\frac{2}{1+\alpha}\Bigl\lbrace\int p(x)^{(1+\alpha)/2}\ln q(x)dx\Bigr\rbrace
ここで、$p(x)^{(\alpha-1)/2}\sim 1+\frac{\alpha-1}{2}\ln p(x)$が成り立つのでこれを代入して、
f(\alpha)\sim \frac{4}{1-\alpha^2}\Bigl\lbrace\int p(x)\Big(\frac{1-\alpha}{2}\Big)\ln p(x)dx\Bigr\rbrace-\frac{2}{1+\alpha}\Bigl\lbrace\int p(x)^{(1+\alpha)/2}\ln q(x)dx\Bigr\rbrace
これは整理すると
f(\alpha)\sim \frac{2}{1+\alpha}\Bigl\lbrace\int p(x)\ln p(x)dx\Bigr\rbrace-\frac{2}{1+\alpha}\Bigl\lbrace\int p(x)^{(1+\alpha)/2}\ln q(x)dx\Bigr\rbrace
ということで、
f(\alpha)_{\alpha\rightarrow1}\sim \int p(x)\ln p(x)dx-\int p(x)\ln q(x)dx=\int p(x)\ln \frac{p(x)}{q(x)}dx=KL(p|q)
以上より、$\alpha\rightarrow1$の極限でKLダイバージェンス$KL(p|q)$になることが分かった。
$\alpha\rightarrow-1$の極限の場合
$\alpha\rightarrow-1$の極限では$(1+\alpha)/2$は十分小さくなるため、$q(x)^{(1+\alpha)/2}~\sim 1+ \frac{1+\alpha}{2}\ln q(x)$が成り立つ。
従って
f(\alpha)\sim \frac{4}{1-\alpha^2}\Bigl\lbrace1-\int \Big(1+ \frac{1+\alpha}{2}\ln p(x)\Big) q(x)^{(1-\alpha)/2}dx\Bigr\rbrace
これを変形すると
f(\alpha)\sim \frac{4}{1-\alpha^2}\Bigl\lbrace1-\int q(x)^{(1-\alpha)/2}dx-\int q(x)^{(1-\alpha)/2}(\frac{1+\alpha}{2})\ln p(x)dx\Bigr\rbrace
ここで、$\frac{4}{1-\alpha^2}$を分配すると、
f(\alpha)\sim \frac{4}{1-\alpha^2}\Bigl\lbrace 1-\int q(x)^{(1-\alpha)/2}dx\Bigr\rbrace-\frac{4}{1-\alpha^2}\Bigl\lbrace\int q(x)^{(1-\alpha)/2}(\frac{1+\alpha}{2})\ln p(x)dx\Bigr\rbrace
整理すると、
f(\alpha)\sim \frac{4}{1-\alpha^2}\Bigl\lbrace1-\int q(x)^{(1-\alpha)/2}dx\Bigr\rbrace-\frac{2}{1-\alpha}\Bigl\lbrace\int q(x)^{(1-\alpha)/2}\ln p(x)dx\Bigr\rbrace
第二項は$\alpha\rightarrow-1$の極限で$\int q(x)\ln p(x)dx$になることが分かる。
次に第一項名を考える。$1=\int q(x)dx$なので、これを代入すると、
f(\alpha)\sim \frac{4}{1-\alpha^2}\Bigl\lbrace\int \Big(q(x)- q(x)^{(1-\alpha)/2}\Big)dx\Bigr\rbrace-\frac{2}{1-\alpha}\Bigl\lbrace\int q(x)^{(1-\alpha)/2}\ln p(x)dx\Bigr\rbrace
さらに変形すると
f(\alpha)\sim \frac{4}{1-\alpha^2}\Bigl\lbrace\int q(x)\Big(1- q(x)^{-(1+\alpha)/2}\Big)dx\Bigr\rbrace-\frac{2}{1-\alpha}\Bigl\lbrace\int q(x)^{(1-\alpha)/2}\ln p(x)dx\Bigr\rbrace
ここで、$q(x)^{-(\alpha+1)/2}\sim 1-\frac{\alpha+1}{2}\ln p(x)$が成り立つのでこれを代入して、
f(\alpha)\sim \frac{4}{1-\alpha^2}\Bigl\lbrace\int q(x)\Big(\frac{1+\alpha}{2}\Big)\ln q(x)dx\Bigr\rbrace-\frac{2}{1+\alpha}\Bigl\lbrace\int q(x)^{(1-\alpha)/2}\ln p(x)dx\Bigr\rbrace
これは整理すると
f(\alpha)\sim \frac{2}{1-\alpha}\Bigl\lbrace\int q(x)\ln q(x)dx\Bigr\rbrace-\frac{2}{1-\alpha}\Bigl\lbrace\int q(x)^{(1-\alpha)/2}\ln p(x)dx\Bigr\rbrace
ということで、
f(\alpha)_{\alpha\rightarrow-1}\sim \int q(x)\ln q(x)dx-\int q(x)\ln p(x)dx=\int q(x)\ln \frac{q(x)}{p(x)}dx=KL(q|p)
以上より、$\alpha\rightarrow-1$の極限でKLダイバージェンス$KL(q|p)$になることが分かった。