相對熵 KL散度 （KullbackLeibler divergence）

這個屬於香農信息論中的東西，在《PRML》書中1.6 信息論小節中有具體說明。真正碰到應用還是在洛桑聯邦理工的POM文章中（概率佔用圖）。作者使用自己產生的估計Q來去逼近未知分佈P，其中P是一個後驗概率分佈。這篇博文旨在明確KL散度的定義以及用途，以備後用。

香農大神：

 KL散度是兩個概率分佈間差異的非對稱性度量，是一些優化算法（例如最大期望算法EM）的損失函數，參與計算的一個概率分佈是真實分佈，另一個是擬合分佈。相對熵表示使用理論分佈擬合真實分佈時產生的信息損耗。

 設有未知分佈，使用估計概率分佈逼近未知分佈，則KL散度定義爲：

離散情況下寫爲：

1.  不對稱性：KL散度的兩個概率分佈不可以隨意調換位置，是有向的。

2.  並且，只有在時才取等號。

 

---

放一個離散型KL散度的運算實例：