機器學習34:貝葉斯先驗概率：
理解貝葉斯先驗概率是爲了更好的理解正則化的概念。
（1）貝葉斯先驗概率和貝葉斯後驗概率：
1.先驗概率是指根據以往經驗和分析得到的概率,即在事情發生之前事情發生的概率。它往往作爲"由因求果"問題中的"因"出現；
2.後驗概率是指依據得到"結果"信息所計算出的最有可能是哪種事件發生,用於判斷事情發生時由哪個原因引起的概率。是"執果尋因"問題中的”因”。
（2）實例理解：
假設我們出門堵車的可能因素有兩個（就是假設而已，別當真）：車輛太多和交通事故，堵車的概率就是先驗概率 。
那麼如果我們出門之前聽到新聞說今天路上出了個交通事故，那麼我們想算一下堵車的概率，這個就叫做條件概率 ，也就是P(堵車|交通事故)，這是有因求果。
如果我們已經出了門，然後遇到了堵車，那麼我們想算一下堵車時由交通事故引起的概率有多大，這個就叫做後驗概率 （也是條件概率），也就是P(交通事故|堵車)，這是有果求因。
（3）最大似然估計實例理解：
病人到醫院看病，他告訴醫生說自己頭痛，然後醫生根據自己的經驗判斷出他是感冒了，然後給他開了些藥回去吃。
事實上醫生在不知不覺中就用到了最大似然估計（雖然有點牽強，但大家就勉爲其難地接受吧^_^）。
大家知道頭痛的原因有很多種啊，比如感冒，中風，腦溢血...那麼醫生憑什麼說那個病人就是感冒呢？醫生說這是我從醫多年的經驗。
從概率的角度醫生的大腦是這麼工作的，他計算了一下：
P(感冒|頭痛)（頭痛由感冒引起的概率，下面類似）
P(中風|頭痛)
P(腦溢血|頭痛)
然後醫生髮現P(感冒|頭痛)是最大的，因此就認爲病人是感冒了。這個就叫最大似然估計（Maximum likelihood estimation，MLE） 。
P(感冒|頭痛)，P(中風|頭痛)，P(腦溢血|頭痛)是後驗概率。
（4）貝葉斯公式：
貝葉斯公式是給定一組關心事件的先驗概率，當收到新的信息時更新事件發生概率的法則。利用貝葉斯公式我們就可以利用先驗概率把後驗概率算出來。
後驗概率在實際中一般是很難直接計算出來的，相反先驗概率就容易多了。因此一般會利用先驗概率來計算後驗概率。
之所以貝葉斯方法在機器學習中如此重要,就是因爲人們希望機器人能像人那樣思考,而很多問題是需要計算機在已知條件下做出最佳決策的決策,而貝葉斯公式就是對人腦在已知條件下做出直覺判斷的一種數學表示。
p（事件），也就是p（A）就是一種先驗概率，p（信息|事件）就是類條件概率。
以上文中的看病爲例，由貝葉斯公式可得：
P(感冒|頭痛)=P(頭痛|感冒)P(感冒)/P(頭痛)
注意，P(感冒)是先驗概率，那麼利用貝葉斯公式我們就可以利用先驗概率把後驗概率算出來了。
P(頭痛|感冒)=感冒的人中頭痛的人數/感冒總人數
（5）全概率公式：
假如時間A的發生有B1,B2,...,Bm一共m種原因，那麼全概率公式就是：
（6）參考資料：