KL散度（KL divergence）

KL散度（KL divergence）

相對熵（relative entropy）又稱爲KL散度（Kullback–Leibler divergence，簡稱KLD），信息散度（information divergence），信息增益（information gain）。

KL散度是兩個概率分佈P和Q差別的非對稱性的度量，用來度量使用基於Q的編碼來編碼來自P的樣本平均所需的額外的位元數。 典型情況下，P表示數據的真實分佈，Q表示數據的理論分佈，模型分佈，或P的近似分佈。

【定義】

對於離散隨機變量，其概率分佈P和Q的KL散度可按下式定義爲：

                                                                               

等價於

                                                                                 

即按概率P求得的P和Q的對數商的期望值。KL散度僅當概率P和Q各自總和均爲1，且對於任何皆滿足及時，纔有定義。

對於連續隨機變量，其概率分佈P和Q可按積分方式定義爲：

                                                                                  

其中和分別表示分佈和的密度。 

【特性】

◎ 相對熵的值爲非負數：

                                                                                              

由吉布斯不等式可知，當且僅當時爲零。

◎ 儘管從直覺上KL散度是個度量或距離函數, 但是它實際上並不是一個真正的度量或距離。因爲KL散度不具有對稱性：從分佈P到Q的距離通常並不等於從Q到P的距離。

                                                                                       

---

【補充 --吉布斯不等式】

吉布斯不等式說明：

若    ，且，則有：，等號成立當且僅當

 

證明：

吉布斯不等式等價於：

已知，等號成立當且僅當。則有