KL距離

D_{mathrm{KL}}(P|Q) = sum_i P(i) log frac{P(i)}{Q(i)}. !
D_{mathrm{KL}}(P|Q) = int_{-infty}^infty p(x) log frac{p(x)}{q(x)} , {rm d}x, ! 

約定 0*log(0/q(x))=0;p(x)*log(p(x)/0)=infinity;

用KL距離可以判斷兩個數據集或者分佈的相似程度

發佈了30 篇原創文章 · 獲贊 14 · 訪問量 3萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章