評價指標總結

評價指標總結

我們需要通過評價指標來判斷模型的好壞:

一、對於分類結果的評價的評價指標:

1、分類準確度:即預測成功的在總數中的佔比

2、利用混淆矩陣:

​ FN:False Negative,被判定爲負樣本,但事實上是正樣本。FP:False Positive,被判定爲正樣本,但事實上是負樣本。TN:True Negative,被判定爲負樣本,事實上也是負樣本。TP:True Positive,被判定爲正樣本,事實上也是證樣本。

2.1、精準率和召回率

​ 精準率(查準率)::預測值爲1,且預測對了的比例,即:我們關注的那個事件,預測的有多準。

​ 召回率(查全率):所有真實值爲1的數據中,預測對了的個數,即:我們關注的那個事件真實的發生情況下,我們成功預測的比例是多少。

2.2、F1 Score

​ F1 Score是精準率和召回率的調和平均值,可以平衡這兩個指標。

3、ROC曲線

​ ROC曲線(Receiver Operation Characteristic Cureve),描述TPR和FPR之間的關係。x軸是FPR,y軸是TPR。

3.1、分類閾值

​ 分類閾值,即設置判斷樣本爲正例的閾值threshold

3.2、TPR

​ **TPR:預測爲1,且預測對了的數量,佔真實值爲1的數據百分比。**很好理解,就是召回率。

3.3、FPR

​ **FPR:預測爲1,但預測錯了的數量,佔真實值不爲1的數據百分比。**與TPR相對應,FPR除以真實值爲0的這一行所有的數字和 。

4、AUC:直觀判斷模型的好壞

一般在ROC曲線中,我們關注是曲線下面的面積, 稱爲AUC(Area Under Curve)。這個AUC是橫軸範圍(0,1 ),縱軸是(0,1)所以總面積是小於1的。

二、線性迴歸評價指標

1、均方誤差MSE

​ 預測值與真實值之差的平方和,再除以樣本量

2、均方根誤差RMSE

​ 爲了消除量綱,將MSE開方

3、平均絕對誤差MAE

​ 預測值與真實值之差的絕對值,再除以樣本量

4、R方

​ 因此用1減去較少的錯誤除以較多的錯誤,實際上是衡量了我們的模型擬合住數據的地方,即沒有產生錯誤的相應指標。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章