機器學習-各類學習器評價指標

一、各類學習器評價指標

機器學習是藉助算法模型來解析數據，並從中學習，然後對真實世界中事件作出決策或預測的方法。根據是否提供數據的分類結果（數據的標籤），可將機器學習方法分爲兩大類：監督學習（如分類和迴歸方法），無監督學習（如聚類方法）。
在利用機器學習方法對問題作出決策和預測後，我們需要對結果進行評價，此時我們應選擇合適的評價指標，不同的學習器相應的指標體系也有差異：
分類模型：準確率、ROC-AUC、混淆矩陣及其相關的一系列指標；
迴歸模型：誤差平方和以及決定係數R2等；
聚類算法：(Given Label)準確率、蘭德指數、互信息等，(Not Given Label)緊密性，間隔性，鄧恩指數等。

二、分類模型評價指標

2.1混淆矩陣

這裏只要記住True、False描述的是分類器是否判斷正確，Positive、Negative是分類器的分類結果。

• TP（true positive）：表示樣本的真實類別爲正，最後預測得到的結果也爲正；
• TN（true negative）：表示樣本的真實類別爲負，最後預測得到的結果也爲負；
• FP（false positive）：表示樣本的真實類別爲負，最後預測得到的結果卻爲正；
• FN（false negative）：表示樣本的真實類別爲正，最後預測得到的結果卻爲負。

根據以上幾個指標，可以分別計算出Accuracy、Precision、Recall（Sensitivity，SN），Specificity（SP）。

P(實際爲正例)=TP+FN;
N(實際爲負例)=TN+FP

• Accuracy：表示預測結果的精確度，預測正確的樣本數除以總樣本數，accuracy = （TP+TN）/(P+N)。
• Precision，準確率（查準率），表示預測結果中，預測爲正樣本的樣本中，正確預測爲正樣本的概率，precision=TP/（TP+FP）；
• Recall，召回率（查全率），表示在原始樣本的正樣本中，最後被正確預測爲正樣本的概率，recall=TP/(TP+FN)=TP/P；
• Specificity，常常稱作特異性，它研究的樣本集是原始樣本中的負樣本，表示的是在這些負樣本中最後被正確預測爲負樣本的概率，specificity = TN/N。

關於Accuracy和Recall兩個指標比較：以地震預測爲例，沒有誰能準確預測地震的發生，但我們能容忍一定程度的誤報，假設1000次預測中，有5次預測爲發現地震，其中一次真的發生了地震，而其他4次爲誤報，那麼正確率從原來的999/1000=99.9%下降到996/1000=99.6，但召回率從0/1=0%上升爲1/1=100%，這樣雖然謊報了幾次地震，但真的地震來臨時，我們沒有錯過，這樣的分類器纔是我們想要的，在一定正確率的前提下，我們要求分類器的召回率儘可能的高。

2.2 ROC曲線
ROC受試者工作特徵曲線（receiver operating characteristic）亦稱感受性曲線(sensitivity curve)，平面的橫座標是false positive rate(FPR)假正率，縱座標是true positive rate(TPR)真正率。ROC計算過程如下：

1. 給定 m+個正例和 n-個反例，根據學習器預測結果（score）對樣例進行排序，然後將分類閾值設置爲最大，即所有樣例均預測爲反例，此時真正例率和假正例率均爲0，即在座標（0,0）處標記一個點；
2. 然後，將分類閾值依次設爲每個樣例的預測值，即依次將每個樣例劃分爲正例。設前一個標記點座標爲 (x,y)
   ，當前若爲真正例，則對應標記點座標爲
   
   若當前爲假正例，則對應標記點座標爲
   
   然後用線段連接相鄰點即得。
   
   ROC曲線作用

• 有助於選擇最佳閾值：ROC曲線越靠近左上角，模型查全率越高，最靠近左上角的ROC曲線上的點是分類錯誤最少的最好閾值，其假正例和假反例總數最少；
• 可以比較不同學習器的性能：將各個學習器的ROC曲線繪製在同一座標中，直觀比較，越靠近左上角的ROC曲線代表的學習器準確性越高。

2.3 AUC值
AUC（area under the curve）即ROC曲線下方的面積，取值在0.5到1之間，因爲隨機猜測的AUC就是0.5。面積如下圖所示，陰影部分即爲AUC面積，AUC越大，診斷準確性越高。

三、迴歸模型評價指標

3.1 SSE（誤差平方和）
觀測值與預估值的離差平方和，計算公式爲：

同樣的數據集的情況下，SSE越小，誤差越小，模型效果越好。
缺點：
SSE數值大小本身沒有意義，隨着樣本增加，SSE必然增加，也就是說，不同的數據集的情況下，SSE比較沒有意義。

3.2 決定係數R-square
迴歸平方和與總平方和的商，評估得到的迴歸方程是否較好擬合樣本數據的統計量。
總平方和：

三個平方和之間關係：

決定係數：
或

分母理解爲原始數據的離散程度，分子爲預測數據和原始數據的誤差，二者相除可以消除原始數據離散程度的影響。

決定係數與相關係數對比：

• 決定係數表示迴歸線擬合程度，即有多少百分比的y波動可以被迴歸線描述；相關係數表示變量間的相關關係。
• 決定係數大小：R平方越高，迴歸模型越精確，取值爲[0,1]；相關係數等於 (相關性方向符號+or-)決定係數開方，取值爲[-1,1]。
• 決定係數越大則擬合優度越好，但具體問題要具體分析；相關係數絕對值越大說明變量相關性越強。

缺點：
數據集的樣本越大，R²越大，因此，不同數據集的模型結果比較會有一定的誤差。

3.3 校正決定係數Adjusted R-Square
消除了樣本數量和特徵數量的影響。

n爲樣本數量，p爲特徵數量。

四、聚類算法評價指標

根據是否提供數據標籤，將模型評價指標分兩類：
4.1 Not Given Label
4.1.1 Compactness（CP緊密性）
計算每一個類中各點到聚類中心的平均距離。

CP越小說明類內聚類聚類越近
缺點： 沒有考慮類間效果

4.1.2 Separation（SP間隔性）
計算各聚類中心兩兩之間平均距離。

SP越高說明類間距離越遠
缺點： 未考慮類內效果

4.1.3 Davies-Bouldin Index（DB分類適確性指標）
任意兩類別的類內距離平均距離(CP)之和除以兩聚類中心聚類，求最大值。

DB越小越好，說明類內距離小，同時類間距離大
缺點： 因使用歐式聚類，因此對於環狀分佈的聚類評估較差。

4.2 Given Label
4.2.1 Cluster Accuracy（CA準確度）
計算聚類正確的百分比

此外還有Rand index（RI蘭德係數）、Normalized Mutual Information（NMI標準互信息）等指標可以衡量聚類結果與真實情況的吻合程度。

參考：
https://blog.csdn.net/weixin_39541558/article/details/80705006；
https://blog.csdn.net/Dream_angel_Z/article/details/50867951；
https://blog.csdn.net/liuliuzi_hz/article/details/53909436；
https://zhuanlan.zhihu.com/p/48981694；
https://zhuanlan.zhihu.com/p/48266768；
https://blog.csdn.net/sinat_33363493/article/details/52496011