在概率論和統計學中,我們經常用一個簡單的近似分佈來代替觀測數據或複雜的分佈.KL散度幫助我們衡量當我們選擇一個簡單近似的分佈來代替複雜的數據或複雜的分佈的時候有多少信息損失了.
一個例子
假設我們是太空科學家並在參觀一個遙遠的新星球,我們發現了一些蠕蟲,我們想要研究他們.我們發現這些蠕蟲都有10個牙齒,但是由於某些原因牙齒會進行脫落,從而導致每個蠕蟲最後的牙齒個數各不相同.通過收集一系列數據,我們得到了每個蠕蟲牙齒數量的經驗概率分佈:
現在我們需要將信息發回地球,但是這些信息量是很大,我們的花費也是巨大的.我們希望將這些數據減少到一個簡單的模型,這樣我們只需要發回1或2個參數即可.(這樣我們就不需要發送那麼多數值,只需要發回概率分佈的參數即可)
均勻分佈
我們首先使用均勻分佈來表示牙齒的分佈.
有11種可能的值,每個的概率都是111\frac{1}{11}