● 每週一言
音樂,是不二良藥。
導語
學過統計分析,一定知道什麼是先驗概率和後驗概率,而貝葉斯分類的原理和這兩種概率息息相關。爲了更好地講解貝葉斯分類,本節先講講概率統計相關的基礎知識,方便之後的公式推導。
概率基礎
概率基礎一共講四個公式:加法公式、乘法公式/條件概率、貝葉斯公式、全概率公式。
加法公式: P(A∪B) = P(A) + P(B) − P(A∩B) 。
上式對於任意兩個事件A和B均成立。之所以要減掉A、B事件的並,是因爲A發生時,B也有可能發生,即A與B不一定是條件獨立事件。加法公式示意圖如下:
乘法公式/條件概率: P(A∩B) = P(A)P(B|A) = P(B)P(A|B)。
所謂乘法,即在A事件發生的前提下P(A),B事件也發生的概率P(B|A);或者在B事件發生的前提下P(B),A事件也發生的概率P(A|B)。乘法公式也叫作條件概率公式,示意圖如下:
貝葉斯公式: P(B|A) = P(B)P(A|B) / P(A)。
貝葉斯公式由乘法公式聯立得出。
在機器學習中,貝葉斯公式通常寫爲P(h|D) = P(h)P(D|h) / P(D)。其中P(h)表示在沒有進行樣本訓練之前假設h的初始概率,即前面提到的先驗概率,先驗概率反映了關於h的所有前提認知。而在機器學習中我們通常更關心後驗概率P(h|D),即給定D時h成立的概率。
全概率公式:
上式中,Bi表示兩兩不相容的時間,通俗的理解可以是兩兩不相同的時間段。P(A|Bi)表示在Bi時段A事件發生的概率,由於Bi兩兩不相容,因此上述P(A)的全概率公式使用加法公式計算得來。全概率公式圖例描述如下:
以上便是必備的四大概率公式,敬請期待下節內容。
結語
感謝各位的耐心閱讀,後續文章於每週日奉上,敬請期待。歡迎大家關注小鬥公衆號 對半獨白!