目前看到的比較全面的分類算法,總結的還不錯.
2.4.1 主要分類方法介紹解決分類問題的方法很多[40-42] ，單一的分類方法主要包括：決策樹、貝葉斯、人工神經網絡、K-近鄰、支持向量機和基於關聯規則的分類等；另外還有用於組合單一分類方法的集成學習算法，如Bagging和Boosting等。
（1）決策樹
決策樹是用於分類和預測的主要技術之一，決策樹學習是以實例爲基礎的歸納學習算法，它着眼於從一組無次序、無規則的實例中推理出以決策樹表示的分類規則。構造決策樹的目的是找出屬性和類別間的關係，用它來預測將來未知類別的記錄的類別。它採用自頂向下的遞歸方式，在決策樹的內部節點進行屬性的比較，並根據不同屬性值判斷從該節點向下的分支，在決策樹的葉節點得到結論。
主要的決策樹算法有ID3、C4.5（C5.0）、CART、PUBLIC、SLIQ和SPRINT算法等。它們在選擇測試屬性採用的技術、生成的決策樹的結構、剪枝的方法以及時刻，能否處理大數據集等方面都有各自的不同之處。
（2）貝葉斯
貝葉斯（Bayes）分類算法是一類利用概率統計知識進行分類的算法，如樸素貝葉斯（Naive Bayes）算法。這些算法主要利用Bayes定理來預測一個未知類別的樣本屬於各個類別的可能性，選擇其中可能性最大的一個類別作爲該樣本的最終類別。由於貝葉斯定理的成立本身需要一個很強的條件獨立性假設前提，而此假設在實際情況中經常是不成立的，因而其分類準確性就會下降。爲此就出現了許多降低獨立性假設的貝葉斯分類算法，如TAN（Tree Augmented Na?ve Bayes)算法，它是在貝葉斯網絡結構的基礎上增加屬性對之間的關聯來實現的。
（3）人工神經網絡
人工神經網絡（Artificial Neural Networks，ANN）是一種應用類似於大腦神經突觸聯接的結構進行信息處理的數學模型。在這種模型中，大量的節點（或稱”神經元”，或”單元”）之間相互聯接構成網絡，即”神經網絡”，以達到處理信息的目的。神經網絡通常需要進行訓練，訓練的過程就是網絡進行學習的過程。訓練改變了網絡節點的連接權的值使其具有分類的功能，經過訓練的網絡就可用於對象的識別。
目前，神經網絡已有上百種不同的模型，常見的有BP網絡、徑向基RBF網絡、Hopfield網絡、隨機神經網絡（Boltzmann機）、競爭神經網絡（Hamming網絡，自組織映射網絡）等。但是當前的神經網絡仍普遍存在收斂速度慢、計算量大、訓練時間長和不可解釋等缺點。
（4）k-近鄰
k-近鄰(kNN，k-Nearest Neighbors)算法是一種基於實例的分類方法。該方法就是找出與未知樣本x距離最近的k個訓練樣本，看這k個樣本中多數屬於哪一類，就把x歸爲那一類。k-近鄰方法是一種懶惰學習方法，它存放樣本，直到需要分類時才進行分類，如果樣本集比較複雜，可能會導致很大的計算開銷，因此無法應用到實時性很強的場合。
（5）支持向量機
支持向量機（SVM，Support Vector Machine）是Vapnik根據統計學習理論提出的一種新的學習方法[43] ，它的最大特點是根據結構風險最小化準則，以最大化分類間隔構造最優分類超平面來提高學習機的泛化能力，較好地解決了非線性、高維數、局部極小點等問題。對於分類問題，支持向量機算法根據區域中的樣本計算該區域的決策曲面，由此確定該區域中未知樣本的類別。
（6）基於關聯規則的分類
關聯規則挖掘是數據挖掘中一個重要的研究領域。近年來，對於如何將關聯規則挖掘用於分類問題，學者們進行了廣泛的研究。關聯分類方法挖掘形如condset→C的規則，其中condset是項(或屬性-值對)的集合，而C是類標號，這種形式的規則稱爲類關聯規則（class association rules，CARS）。關聯分類方法一般由兩步組成：第一步用關聯規則挖掘算法從訓練數據集中挖掘出所有滿足指定支持度和置信度的類關聯規則；第二步使用啓發式方法從挖掘出的類關聯規則中挑選出一組高質量的規則用於分類。屬於關聯分類的算法主要包括CBA[44] ，ADT[45] ，CMAR[46] 等。
（7）集成學習（Ensemble Learning）
實際應用的複雜性和數據的多樣性往往使得單一的分類方法不夠有效。因此，學者們對多種分類方法的融合即集成學習進行了廣泛的研究。集成學習已成爲國際機器學習界的研究熱點，並被稱爲當前機器學習四個主要研究方向之一。
集成學習是一種機器學習範式，它試圖通過連續調用單個的學習算法，獲得不同的基學習器，然後根據規則組合這些學習器來解決同一個問題，可以顯著的提高學習系統的泛化能力。組合多個基學習器主要採用（加權）投票的方法，常見的算法有裝袋[47] （Bagging），提升/推進[48, 49] （Boosting）等。
有關分類器的集成學習見圖2-5。集成學習由於採用了投票平均的方法組合多個分類器，所以有可能減少單個分類器的誤差，獲得對問題空間模型更加準確的表示，從而提高分類器的分類準確度。
圖2-5：分類器的集成學習
以上簡單介紹了各種主要的分類方法，應該說其都有各自不同的特點及優缺點。對於數據庫負載的自動識別，應該選擇哪種方法呢？用來比較和評估分類方法的標準[50] 主要有：（1）預測的準確率。模型正確地預測新樣本的類標號的能力；（2）計算速度。包括構造模型以及使用模型進行分類的時間；（3）強壯性。模型對噪聲數據或空缺值數據正確預測的能力；（4）可伸縮性。對於數據量很大的數據集，有效構造模型的能力；（5）模型描述的簡潔性和可解釋性。模型描述愈簡潔、愈容易理解，則愈受歡迎。
zz from http://hi.baidu.com/gf271828/blog/item/38df3df172e150c10b46e06d.html
2.4.1 主要分類方法介紹解決分類問題的方法很多[40-42] ，單一的分類方法主要包括：決策樹、貝葉斯、人工神經網絡、K-近鄰、支持向量機和基於關聯規則的分類等；另外還有用於組合單一分類方法的集成學習算法，如Bagging和Boosting等。
（1）決策樹
決策樹是用於分類和預測的主要技術之一，決策樹學習是以實例爲基礎的歸納學習算法，它着眼於從一組無次序、無規則的實例中推理出以決策樹表示的分類規則。構造決策樹的目的是找出屬性和類別間的關係，用它來預測將來未知類別的記錄的類別。它採用自頂向下的遞歸方式，在決策樹的內部節點進行屬性的比較，並根據不同屬性值判斷從該節點向下的分支，在決策樹的葉節點得到結論。
主要的決策樹算法有ID3、C4.5（C5.0）、CART、PUBLIC、SLIQ和SPRINT算法等。它們在選擇測試屬性採用的技術、生成的決策樹的結構、剪枝的方法以及時刻，能否處理大數據集等方面都有各自的不同之處。
（2）貝葉斯
貝葉斯（Bayes）分類算法是一類利用概率統計知識進行分類的算法，如樸素貝葉斯（Naive Bayes）算法。這些算法主要利用Bayes定理來預測一個未知類別的樣本屬於各個類別的可能性，選擇其中可能性最大的一個類別作爲該樣本的最終類別。由於貝葉斯定理的成立本身需要一個很強的條件獨立性假設前提，而此假設在實際情況中經常是不成立的，因而其分類準確性就會下降。爲此就出現了許多降低獨立性假設的貝葉斯分類算法，如TAN（Tree Augmented Na?ve Bayes)算法，它是在貝葉斯網絡結構的基礎上增加屬性對之間的關聯來實現的。
（3）人工神經網絡
人工神經網絡（Artificial Neural Networks，ANN）是一種應用類似於大腦神經突觸聯接的結構進行信息處理的數學模型。在這種模型中，大量的節點（或稱”神經元”，或”單元”）之間相互聯接構成網絡，即”神經網絡”，以達到處理信息的目的。神經網絡通常需要進行訓練，訓練的過程就是網絡進行學習的過程。訓練改變了網絡節點的連接權的值使其具有分類的功能，經過訓練的網絡就可用於對象的識別。
目前，神經網絡已有上百種不同的模型，常見的有BP網絡、徑向基RBF網絡、Hopfield網絡、隨機神經網絡（Boltzmann機）、競爭神經網絡（Hamming網絡，自組織映射網絡）等。但是當前的神經網絡仍普遍存在收斂速度慢、計算量大、訓練時間長和不可解釋等缺點。
（4）k-近鄰
k-近鄰(kNN，k-Nearest Neighbors)算法是一種基於實例的分類方法。該方法就是找出與未知樣本x距離最近的k個訓練樣本，看這k個樣本中多數屬於哪一類，就把x歸爲那一類。k-近鄰方法是一種懶惰學習方法，它存放樣本，直到需要分類時才進行分類，如果樣本集比較複雜，可能會導致很大的計算開銷，因此無法應用到實時性很強的場合。
（5）支持向量機
支持向量機（SVM，Support Vector Machine）是Vapnik根據統計學習理論提出的一種新的學習方法[43] ，它的最大特點是根據結構風險最小化準則，以最大化分類間隔構造最優分類超平面來提高學習機的泛化能力，較好地解決了非線性、高維數、局部極小點等問題。對於分類問題，支持向量機算法根據區域中的樣本計算該區域的決策曲面，由此確定該區域中未知樣本的類別。
（6）基於關聯規則的分類
關聯規則挖掘是數據挖掘中一個重要的研究領域。近年來，對於如何將關聯規則挖掘用於分類問題，學者們進行了廣泛的研究。關聯分類方法挖掘形如condset→C的規則，其中condset是項(或屬性-值對)的集合，而C是類標號，這種形式的規則稱爲類關聯規則（class association rules，CARS）。關聯分類方法一般由兩步組成：第一步用關聯規則挖掘算法從訓練數據集中挖掘出所有滿足指定支持度和置信度的類關聯規則；第二步使用啓發式方法從挖掘出的類關聯規則中挑選出一組高質量的規則用於分類。屬於關聯分類的算法主要包括CBA[44] ，ADT[45] ，CMAR[46] 等。
（7）集成學習（Ensemble Learning）
實際應用的複雜性和數據的多樣性往往使得單一的分類方法不夠有效。因此，學者們對多種分類方法的融合即集成學習進行了廣泛的研究。集成學習已成爲國際機器學習界的研究熱點，並被稱爲當前機器學習四個主要研究方向之一。
集成學習是一種機器學習範式，它試圖通過連續調用單個的學習算法，獲得不同的基學習器，然後根據規則組合這些學習器來解決同一個問題，可以顯著的提高學習系統的泛化能力。組合多個基學習器主要採用（加權）投票的方法，常見的算法有裝袋[47] （Bagging），提升/推進[48, 49] （Boosting）等。
有關分類器的集成學習見圖2-5。集成學習由於採用了投票平均的方法組合多個分類器，所以有可能減少單個分類器的誤差，獲得對問題空間模型更加準確的表示，從而提高分類器的分類準確度。
圖2-5：分類器的集成學習
以上簡單介紹了各種主要的分類方法，應該說其都有各自不同的特點及優缺點。對於數據庫負載的自動識別，應該選擇哪種方法呢？用來比較和評估分類方法的標準[50] 主要有：（1）預測的準確率。模型正確地預測新樣本的類標號的能力；（2）計算速度。包括構造模型以及使用模型進行分類的時間；（3）強壯性。模型對噪聲數據或空缺值數據正確預測的能力；（4）可伸縮性。對於數據量很大的數據集，有效構造模型的能力；（5）模型描述的簡潔性和可解釋性。模型描述愈簡潔、愈容易理解，則愈受歡迎。
zz from http://hi.baidu.com/gf271828/blog/item/38df3df172e150c10b46e06d.html
