いま松尾研の深層生成モデル講座（https://weblab.t.u-tokyo.ac.jp/lecture/course-list/deep-generative-model/ ）を受けているのですが、KLダイバージェンス最小化 = 対数尤度最大化が同義であることを、やっと直感的に理解できたので、それを共有させていただきます！
直感的なイメージ
対数尤度最大化とKLダイバージェンス最小化は 「目標とする確率分布をどれだけ正確に再現できるか？」 という問題です。
サイコロで考える
- 誰かが作ったサイコロを観察して、「このサイコロは公正（1/6ずつ）か、それとも偏っているのか？」 を知りたいとします。
- 10回投げた結果： 「6」が3回出た。
- ここで、サイコロの6の出る確率θを推定したい。
どの確率がもっとも「それっぽい」か？
-
ケース1：θ = 0.3（正しい確率）
- もしこのサイコロが「6が30%の確率で出る」サイコロだったら、この結果（10回中3回）は普通にあり得る。
-
ケース2：θ = 0.5（誤った確率）
- もしこのサイコロが「6が50%の確率で出る」サイコロだったら、10回投げて3回しか出ないのはかなり不自然。
この直感を数式にしたのが「対数尤度」 であり、
「どれだけ不自然な確率か？」を測るのがKLダイバージェンス です。
KLダイバージェンスを直感的に
KLダイバージェンスは 「モデルがデータをどれだけ間違えて予測しているか」 を測るものです。
- 経験分布（≒真の分布）と生成モデルのKLダイバージェンスが大きい
→ モデルの確率がデータとズレていて、データをうまく説明できていない。 - 経験分布（≒真の分布）と生成モデルのKLダイバージェンスが小さい（ゼロに近い）
→ モデルの確率がデータの確率に近く、データをよく説明できている。
対数尤度を直感的に
対数尤度とは、「観測されたデータが、モデルの確率でどれだけ説明できるか？」を測るもの。
-
尤度 = 「モデルがこのデータを生成する確率」
-
対数尤度 = 「対数を取ったもの」 → 計算しやすくなる。
-
対数尤度が高い
→ モデルがデータをよく説明している。 -
対数尤度が低い
→ モデルがデータを説明できていない。
つまり、「データをよく説明する = KLダイバージェンスが小さい = 対数尤度が大きい」 という関係になる。
まとめ
- 対数尤度最大化は、「データを最もよく説明する確率を探す」
- KLダイバージェンス最小化は、「モデルの予測をデータの分布に近づける」
- どちらも「モデルを正しくする」ために、実は同じことをしている！