二元分類效果的評估方法

原文地址:https://blog.csdn.net/quliulangle/article/details/76577020

效果評估是模型選擇和算法設計的重要步驟,知道評估優劣才能選擇最佳的模型和算法,本節介紹一些有關評估方法的定義,凡是在統計或大數據領域都用得到 

真陽性

true positives, TP

真陰性

true negatives, TN

假陽性

false positives, FP

假陰性 

false negatives, FN)

 

準確率

分類器預測正確性的比例,可以通過LogisticRegression.score() 來計算準確率

 

精確率

分類器預測出的髒話中真的是髒話的比例

P=TP/(TP+FP)

 

召回率

也叫靈敏度。所有真的髒話被分類器正確找出來的比例。

R=TP/(TP+FN)


知乎大神的通俗解釋:

假設你的女票在過去10年(還沒修成正果?)裏,每年都會送一份生日禮物給你,有一天,她突然問你:


“記得這十年裏你生日我都送過什麼嗎?”


這不是一個簡單的問題,或者說這不是一個問題,這就是一顆雷

爲了續命,你隨即對自己的大腦進行了地毯式搜索,

這時,召回率(Recall)就等於你回答正確的禮物數和你女票在你生日時送你的禮物數的總和的比值:


比如,你準確地回答出10件禮物,那麼召回率就爲:10/10即100%

如果只准確地回憶起了7件,那麼召回率(Recall)就是70%


但是,你所有的回答中可能有錯誤回答,比如,你一共給出了15個答案,其中5個是錯的,這證明,你雖然可以回答出所有禮物,但是卻不那麼精確,因此,精確率這個概念便出現了:

精確率(Precision)就是10/15,約爲67%

對比一下:



 

也就是說,儘管你給出了所有的答案,但是你總共回答了15次,雖然100%召回了,但是精確率只有66.67%,如果你回答了不止15次呢,如果是100次呢?(還是買彩票去吧)想一下女票氣得要炸裂的表情吧,你命不久矣,也就說,精確率太低,就算召回率是100%,女票眼裏,你也已經是dead meat了。


綜合評價指標

F-measure,精確率和召回率的調和均值。精確率和召回率都不能從差的分類器中區分出好的分類器,綜合評價指標平衡了精確率和召回率。

1/F+1/F=1/P+1/R即

F=2*PR/(P+R)

 

誤警率

假陽性率,所有陰性樣本中分類器識別爲陽性的樣本所佔比例 

F=FP/(TN+FP)

 

ROC(Receiver Operating Characteristic)

ROC曲線畫的是分類器的召回率與誤警率(fall-out)的曲線 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章