集體智慧常用的算法

集體智慧常用的算法:
1、貝葉斯分類器

貝葉斯網絡是一個帶有概率註釋的有向無環圖,圖中的每一個結點均表示一個隨機變量,圖中兩結點間若存在着一條弧,則表示這兩結點相對應的隨機變量是概率相依的,反之則說明這兩個隨機變量是條件獨立的。網絡中任意一個結點X 均有一個相應的條件概率表(Conditional Probability Table,CPT),用以表示結點X 在其父結點取各可能值時的條件概率。若結點X 無父結點,則X 的CPT 爲其先驗概率分佈。貝葉斯網絡的結構及各結點的CPT 定義了網絡中各變量的概率分佈。

2、決策樹算法

決策樹算法是一種逼近離散函數值的方法。它是一種典型的分類方法,首先對數據進行處理,利用歸納算法生成可讀的規則和決策樹,然後使用決策對新數據進行分析。本質上決策樹是通過一系列規則對數據進行分類的過程。決策樹算法構造決策樹來發現數據中蘊涵的分類規則.如何構造精度高、規模小的決策樹是決策樹算法的核心內容。決策樹構造可以分兩步進行。第一步,決策樹的生成:由訓練樣本集生成決策樹的過程。一般情況下,訓練樣本數據集是根據實際需要有歷史的、有一定綜合程度的,用於數據分析處理的數據集。第二步,決策樹的剪技:決策樹的剪枝是對上一階段生成的決策樹進行檢驗、校正和修下的過程,主要是用新的樣本數扼集(稱爲測試數據集)中的數據校驗決策樹生成過程中產生的初步規則,將那些影響預衡準確性的分枝剪除。

3、神經網絡

神經網絡和粗集理論是智能信息處理的兩種重要的方法,其任務是從大量觀察和實驗數據中獲取知識、表達知識和推理決策規則。粗集理論是基於不可分辯性思想和知識簡化方法,從數據中推理邏輯規則,適合於數據簡化、數據相關性查找、發現數據模式、從數據中提取規則等。神經網絡是利用非線性映射的思想和並行處理方法,用神經網絡本身的結構表達輸入與輸出關聯知識的隱函數編碼,具有較強的並行處理、逼近和分類能力。在處理不準確、不完整的知識方面,粗集理論和神經網絡都顯示出較強的適應能力,然而兩者處理信息的方法是不同的,粗集方法模擬人類的抽象邏輯思維,神經網絡方法模擬形象直覺思維,具有很強的互補性。 

4、K-最近鄰

K最近鄰(k-Nearest Neighbor,KNN)分類算法,是一個理論上比較成熟的方法,也是最簡單的機器學習算法之一。該方法的思路是:如果一個樣本在特徵空間中的k個最相似(即特徵空間中最鄰近)的樣本中的大多數屬於某一個類別,則該樣本也屬於這個類別。KNN算法中,所選擇的鄰居都是已經正確分類的對象。該方法在定類決策上只依據最鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別。 KNN方法雖然從原理上也依賴於極限定理,但在類別決策時,只與極少量的相鄰樣本有關。由於KNN方法主要靠周圍有限的鄰近的樣本,而不是靠判別類域的方法來確定所屬類別的,因此對於類域的交叉或重疊較多的待分樣本集來說,KNN方法較其他方法更爲適合。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章