Gibbs Sampling簡單總結

Gibbs Samping 是MCMC中最常用的方法,基本的原理就是通過隨機模擬, 採集 期望數量的 目標分佈的樣本,這些樣本構造了一條馬爾可夫鏈,而由這些樣本集,基本可以推斷出目標分佈的參數以及其它的想了解的 後驗分佈。但通常 如何採集 樣本成爲關鍵,應用它的原因是目標分佈的分佈函數未知,但是  構成目標分佈的 變量的 條件分佈是知道的,那麼就可以用隨機模擬的思想,利用貝葉斯公式的特性,從條件概率依次對構成目標分佈的每個變量進行採樣,做跳轉,每次只針對一個維度做迭代,當所有維度都跳轉一次之後所的樣本即可則看作是目標分佈的一次跳轉。

通常若按數學公式是可以直接求出聯合概率的,但隨着變量數量的增大,公式求解,變得異常複雜,遂通過採樣的方式求得聯合概率分佈。

基本過程:

比如我們已知變量A,B,C,並知p(A|B,C),p(B|A,C),p(C|A,B),

step1:給ABC隨機賦值,即隨機一個樣本,如(A0,B0,C0),

step2:根據p(A|B0,C0)得A1,

step3:根據p(B|A1,C0)得B1,

step4:根據p(C|A1,B1)得C1,

現得樣本(A1,B1,C1),

重複step1到step4,經過若干次迭代過程後,則結果基本趨於變量實際的分佈,即可作爲聯合發佈。


有新的發現繼續補充!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章