文章目錄
樸素貝葉斯算法
1、概率基礎
- 聯合概率:包含多個條件,且所有條件同時成立的概率
記作:P(A, B)
- 條件概率:就足事件A在另外一個事件B已經發生條件下的發生概率
記作:P(A|B)
特性:P(A1,A2|B)= P(A1|B)P(A2|B)
注意:此條件概率的成立,是由於A1,A2相互獨立的結果。
2、樸素貝葉斯介紹
樸素貝葉斯-貝葉斯公式
舉例
特徵\統計 | 科技 | 娛樂 | 彙總(求和) |
---|---|---|---|
“商場” | 9 | 51 | 60 |
“影院” | 8 | 56 | 64 |
“支付寶” | 20 | 15 | 35 |
“雲計算” | 63 | 0 | 63 |
彙總(求和) | 100 | 121 | 221 |
現有一篇被預測文檔:出現了影院,支付寶,雲計算,計算屬於科技、娛樂的
類別概率?
都除以P(W),所以省略P(W)
某個類別爲0,顯然是不合適的,如果詞頻列表裏面有很多出現次數爲0,很可能計算結果都爲0
解決辦法
3.樸素貝葉斯算法案例
3.1 sklearn樸素貝葉斯實現API
- sklearn.naive_bayes.MultinomialNB(alpha = 1.0)
- 樸素貝葉斯分類
- alpha:拉普拉斯平滑係數
3.2 sklearn-20類新聞分類
20個新聞組數據集包含20個主題的18000個新聞組帖子
下載數據集出錯如何解決
https://jingyan.baidu.com/article/ca2d939dc82d90aa6d31ce16.html
3.3 樸素貝葉斯案例流程
- 加載20類新聞數據,並進行分割
- 生成文章特徵詞
- 樸素貝葉斯estimator流程進行預估
from sklearn.datasets import load_iris, fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
def naviebayes():
#
news = fetch_20newsgroups(subset='all')
#數據分割
x_train, x_test, y_train, y_test =train_test_split(news.data,news.target,test_size=0.25)
# 對數據集進行特徵抽取
tf=TfidfVectorizer()
#以訓練集當中的詞的列表進行每篇文章重要性分析
x_train=tf.fit_transform(x_train)
print(tf.get_feature_names())
x_test=tf.transform(x_test)
#進行樸素貝葉斯算法
mlt=MultinomialNB(alpha=1.0)
print(x_train)
mlt.fit(x_train,y_train)
y_predict=mlt.predict(x_test)
print("預測的文章類別爲:", y_predict)
# 得出準確率
print("準確率爲:",mlt.score(x_test,y_test))
return None
naviebayes()
結果:
[[0. 0.01483232 0. ... 0. 0. 0. ]
[0. 0. 0. ... 0. 0. 0. ]
[0. 0. 0. ... 0. 0. 0. ]
...
[0. 0. 0. ... 0. 0. 0. ]
[0. 0. 0. ... 0. 0. 0. ]
[0. 0. 0. ... 0. 0. 0. ]]
預測的文章類別爲: [ 0 15 2 ... 2 17 15]
準確率爲: 0.8582342954159593
4.樸素貝葉斯分類特點總結
- 優點:
- 樸素貝葉斯模型發源於古典數學理論,有穩定的分類效率。
- 對缺失數據不太敏感,算法也比較簡單,常用於文本分類。
- 分類準確度高,速度快
- 缺點:
- 需要知道先驗概率P(F1,F2,…|C),因此在某些時候會由於假設的先驗模型的原因導致預測效果不佳。(訓練集誤差大,結果不好)
- 由於使用了樣本屬性獨立性的假設,所以如果樣本屬性有關聯時效果不好