共軛先驗的概念和優勢——CVMLI Prince讀書隨筆第4章

什麼是共軛性

一個分佈$P$是另一個分佈$Q$的共軛，則這兩個分佈相乘，分佈形式與$P$相同（同族）。

共軛先驗與貝葉斯方法

對於已有數據集$\mathbf x$，記似然估計爲$P_1(\bf x|\lambda)$，其中$\lambda$是參數，先驗分佈爲$P_2(\lambda;\theta)$，其中$\theta$是參數先驗分佈的已知有關參數。

則參數的後驗分佈可以寫爲
$P(\lambda| \mathbf{x}; \theta) = \frac{P_1(\mathbf x|\lambda)P_2(\lambda;\theta)}{P(\bf x)}$

如果$P_2$是$P_1$的共軛分佈，則
$P_1(\mathbf x|\lambda)P_2(\lambda;\theta) = \kappa (\mathbf x, \theta) P_2(\lambda; \tilde \theta)$

其中$\kappa(\mathbf x, \theta)$是一個$\lambda$無關的常數，$P_2(\lambda; \tilde \theta)$與$P_2(\lambda; \theta)$有同樣的形式。
由於概率對$\lambda$積分爲1，所以$\kappa(\mathbf x, \theta) =P(\mathbf x)$，即$P(\lambda| \mathbf x; \theta)=P_2(\lambda; \tilde \theta)$

共軛分佈的優勢一

• 共軛先驗的好處在於保證了後驗分佈是一個已知形式的閉式解。
• 只要能把$P_2$的參數辨識出來，係數就可以不用在乎。例如先驗分佈爲高斯分佈，且是數據分佈的共軛分佈。那麼只需把後驗分佈的均值和方差通過指數項係數辨識出來。不用在乎常數項。

貝葉斯密度預測

在給定數據集$\mathbf x$後，$x^*$處的密度概率爲
$\begin{aligned} P(x^*| \mathbf x) &= \int P_1(x^* | \lambda)P(\lambda|\mathbf x; \theta)d\lambda \\ &=\int P_1(x^*|\lambda)P_2(\lambda; \tilde \theta)d\lambda \\ &= \int \kappa(x^*, \tilde \theta)P_2(\lambda; \breve \theta) d\lambda \\ &= \kappa(x^*, \tilde \theta) \end{aligned}$

共軛分佈的優勢二

貝葉斯的密度預測結果表達式居然是$\kappa(x^*, \tilde \theta)$，是一個形式簡單的閉式解！

總結

對於共軛先驗，只要把
$P_1(\mathbf x|\lambda)P_2(\lambda;\theta) = \kappa (\mathbf x, \theta) P_2(\lambda; \tilde \theta)$
當中的$\kappa (\mathbf x, \theta)$和$\tilde \theta (\mathbf x, \theta)$的表達式搞清楚，就能直接得到貝葉斯參數估計和密度估計的結果。

常見的似然與共軛

似然函數（數據分佈）	共軛先驗
Bernoulli分佈	Beta分佈
多類分佈	Dirichlet分佈
高斯分佈	高斯分佈（方差已知）
一維高斯分佈	逆Gamma分佈（均值已知）
一維高斯分佈	正態逆Gamma分佈
高維高斯分佈	逆Wishart分佈（均值已知）
高維高斯分佈	正態逆Wishart分佈

參考文獻：
[1] Prince S J D. Computer vision: models, learning, and inference[M]. Cambridge University Press, 2012. 50-64.