本文轉載自：http://blog.csdn.net/wuxiaoyao12/article/details/7330652，謝謝原作者。
=============================================================================
首先，發兩個鏈接，介紹的比較詳細，易懂，精闢，在網上傳播度也較高
1.數學之美番外篇：平凡而又神奇的貝葉斯方法
http://blog.csdn.net/xianlingmao/article/details/5528102
2.數學之美系列十九：馬爾可夫鏈的擴展 貝葉斯網絡 (Bayesian Networks)——google吳軍
http://www.kuqin.com/math/20071204/2793.html
3.算法雜貨鋪——分類算法之樸素貝葉斯分類(Naive Bayesian classification)——張洋
http://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html
可直接閱讀1.4
4.算法雜貨鋪——分類算法之貝葉斯網絡(Bayesian networks)——張洋
http://www.cnblogs.com/leoo2sk/archive/2010/09/18/bayes-network.html
好，開始
貝葉斯定理，條件概率求解公式：
P(A|B) = P(A^B) / P(B) = P(A)*P(B|A) / P(B)
——P(A),P(B)，先驗概率
P(B|A)，條件概率
一、樸素貝葉斯
對於給出的待分類項，求解在此項出現的條件下各個類別出現的概率，哪個最大，就認爲此待分類項屬於哪個類別。
樸素貝葉斯基於這樣一個假設：特徵集裏的每個特徵都是彼此獨立的。由概率知識可知當A,B彼此獨立時，P(AB)=P(A)P(B)。
（1）對每個樣本數據描述爲n維特徵向量X={ x1, x2, …, xn}，每個分量對應一個屬性的取值。
（2）假定有m個類c1，c2，…，cm，給定一個未知的數據樣本x，分類法將預測出x屬於最有最高後驗概率（條件x下）的類。也就是說，如果將x分給某個類，則x屬於該類的概率一定大於其他類。
即P(Ci| x) > P( Cj|x), 1<=i<=m, j其他
又，P(Ci | x) = (P( x| Ci) P(Ci))|P( x)
（3）由於P(x)對於所有類爲常數，只需算分子最大即可。如果類的先驗概率未知，則通常假設這些類是等概率的。類的先驗概率可以通過P(Ci)= si/s，其中si是類Ci中的訓練樣本數，而s是總的樣本數。
樸素貝葉斯中對於若干條件概率值不存在的問題，一般通過將所有的概率值加1來解決。
二、貝葉斯網絡
當樸素貝葉斯的假設前提不滿足，即各特徵並非彼此獨立時，貝葉斯網絡就可以上場了。在很多情況下，特徵之間完全獨立是沒辦法做到的。比如解決文本分類時，相鄰詞的關係、近義詞的關係等等。彼此不獨立的特徵之間的關係沒法通過樸素貝葉斯分類器訓練得到，同時這種不獨立性也給問題的解決方案引入了更多的複雜性。
故，貝葉斯網絡引入了一個有向無環圖（Directed Acyclic Graph）和一個條件概率表（CPT）集合。DAG的結點V包括隨機變量（類別和特徵），有向連接E（A->B）表示結點A是結點B的parent，且B與A是有依賴關係的（不獨立）。同時引入了一個條件性獨立（conditional independence）概念：即圖中任意結點v在給定v的parent結點的情況下，與圖中其它結點都是獨立的，也就是說P(v|par(v),x1,x2...,xn) = P(v|par(v))。這裏par(v)表示v的parent結點集，x1,x2,...,xn表示圖中其它結點。
因爲，我們知道如果已知所有聯合概率值（joint distribution），那麼任何形式的概率問題都可以迎刃而解。而現實是當特徵集合過大(>10)時你幾乎無法通過統計得到。而特徵集合的大小在"一定程度上"與最終的分類效果是一個正反饋關係。所以，這個問題的解決就是通過我們所引入的條件獨立的概念來對各條件概率值進行優化。
(1)naive bayes的tutorial。
http://www.autonlab.org/tutorials/naive02.pdf
(2)bayesian net的tutorial。
http://www.autonlab.org/tutorials/bayesnet09.pdf
三、貝葉斯網絡分類器：
貝葉斯分類器是基於貝葉斯學習方法的分類器。在貝葉斯網絡中將其中代表類別變量的結點作爲根結點，其餘所有的變量結點都作爲該類別變量結點的子結點，則貝葉斯網絡就變成了貝葉斯網絡分類器。構造分類器需要根據給定訓練樣本數據集(訓練集)作爲輸入，通過對訓練集進行訓練，歸納出分類器，利用分類器對沒有分類的數據進行分類。
先驗概率獨立於訓練數據集，而後驗概率反映了樣本數據對類cj的影響。貝葉斯分類模型參數學習的關鍵就是如何計算p(ai|a1,a2,…,ai-1,cj)。目前，不同貝葉斯分類模型的區別就在於，它們以不同的方式來求p(ai|a1,a2,…,ai-1,cj)。xi被分到c類，即g(e)=argmax p(c|a1,a2,…,an)，稱g(e)爲貝葉斯分類器。
四、貝葉斯分類器同其他分類器相比具有如下特點：
(1)貝葉斯分類器並不把一個對象絕對地指派給某一類，而是通過計算得出屬於某一類的概率分佈；
(2)一般情況下在貝葉斯分類器中所有的屬性都潛在地起作用，即並不是一個或者幾個屬性決定分類，而是所有的屬性都參與分類；
(3)用於貝葉斯分類器分類的對象的屬性可以是離散的、連續的，也可以是混合的。