高斯混合、多元高斯之間的KL散度

1. 概率密度函數

多變量高斯混合分佈的概率密度函數爲：

2. 多元高斯分佈和標準正態分佈的KL散度

3. 兩個多元高斯分佈之間的KL散度

• 屬於2.的一般情況，k是特徵的維度
  

4 .兩個高斯混合之間的KL散度

5. 高斯混合分佈和多元高斯分佈之間的KL散度

• 只需要將多元高斯混合分佈擴展爲高斯混合分佈即可，重複該多元高斯分佈。特別地，當多元高斯分佈爲正太分佈時：
  
• 其中，M表示component的個數，D表示特徵的維數。

附錄

• 你可以將u2=0，Σ2=I帶入上式，得出多元高斯和正太分佈之間得KL散度。