【機器學習】常見模型評估指標

碼字不易，喜歡請點贊！！！
【機器學習】中常見的模型評估指標
常見類別一：錯誤率/精度
在$m$個樣本中，有$\alpha$個樣本分類錯誤。
1.錯誤率(error rate)：$E = \alpha/m$
2.精度(accuracy)：$1-\alpha/m$

常見類別二：查準率/查全率
對於預測問題，我們根據真實情況和預測結果組合有真正例(true positive)、假正例(false positive)、真反例(true negative)、假反例(false negative)，分類結果得混淆矩陣(confusion matrix)如下圖，則有：
樣本總數$m=TP+FP+TN+FN$

並有以下兩個評估指標：
1.查準率(precision)：體現查出來的正例中有多少是真正例，即$P=\frac{TP}{TP+FP}$
2.查全率(recall)：體現有多少正例被查出來了，即$R=\frac{TP}{TP+FN}$

根據查準率和查全率的公式可知，查準率和查全率是一對矛盾的指標。一般，查準率越高，查全率就越低；反之，查全率越高，則查準率越低。

下圖中，查全率爲橫軸，查準率爲縱軸，稱爲查準率-查全率曲線，簡稱“P-R曲線”。

可以通過“P-R曲線”，來評價模型的好壞，具體方法有以下幾種：

• B曲線包含C曲線，因此B優於C
• 查準率=查全率的點稱爲平衡點，平衡點的值越大，則越優
• “P-R曲線”下面積越大，則越優
• F1度量指標：$F1=\frac{2*P*R}{P+R}=\frac{2*TP}{樣本總數+TP-TN}$

常見類別三：ROC/AUC
首先，兩個指標，真正例率(True Positive Rate,TPR)和假正例率(False Positive Rate,FPR)的計算公式如下：

$TRP = \frac{TP}{TP+FN}$

$FRP = \frac{FP}{FP+TN}$

1.ROC曲線(Receiver Operating Characteristic)，稱爲“受試者工作特徵”，使用TPR作爲縱軸，FPR作爲橫軸，如下圖。對於ROC曲線的優劣比較可以參考P-R曲線。
2.AUC(Area Under ROC Curve)，表示ROC曲線下面積，使用該面積的大小來判斷ROC曲線的優劣，AUC越大越好。
注：AUC範圍：[0.5,1.0]