理論物理學家和研究科學家Mehmet Suzen曾表示，二分類任務是機器學習的基礎。但是，其性能的標準統計信息是一種數學工具，ROC-AUC很難解釋。在這裏，引入了一種性能度量，該度量僅考慮進行正確的二進制分類的可能性。
機器學習模型的核心應用是二分類任務。從用於診斷測試的醫學領域到爲消費者提供信用風險決策的領域，有很多領域。建立分類器的技術多種多樣，從簡單的決策樹到邏輯迴歸，再到最近利用多層神經網絡的超酷深度學習模型。但是，它們在構造和訓練方法上在數學上有所不同，就其評估而言，事情變得棘手。在本文中，我們爲實踐中的二元分類器提出了一種簡單且可解釋的性能指標。
爲什麼ROC-AUC無法解釋？
因爲不同的閾值會產生不同的混淆矩陣。
報告分類器性能的實際標準是使用接收機工作特性（ROC）-曲線下面積（AUC）''度量。它起源於1940年代美國海軍研發雷達時，用於測量探測性能。 ROC-AUC的含義至少有5種不同的定義，即使您擁有博士學位也是如此。在機器學習中，人們很難解釋AUC作爲績效指標的含義。由於AUC功能幾乎在所有圖書館中都可用，並且它幾乎像一種宗教儀式一樣，在機器學習論文中作爲分類表現進行報告。但是，除了荒謬的比較問題之外，其解釋並不容易，請參閱hmeasure。 AUC會根據從不同閾值的混淆矩陣中提取的假正率（FPR）來衡量真正率（TPR）曲線下的面積。
f（x）= y
∫10 f（x）dx = AUC
其中，y是TPR，x是FPR。除了多種解釋且容易混淆之外，將積分放在FPR之上沒有明確的目的。顯然，我們希望通過將FPR設置爲零來實現完美的分類，但是該區域在數學上並不清晰，這意味着它作爲一個數學對象是不清楚的。
正確分類的概率（PCC）
對於二分類問題的分類器而言，一種簡單且可解釋的性能指標對於技術含量高的數據科學家和非技術利益相關者都非常有用。這個方向的基本租戶是，分類器技術的目的是區分兩個類別的能力。這歸結爲一個概率值，正確分類的概率（PCC）。一個明顯的選擇是所謂的平衡精度（BA）。通常建議將其用於不平衡問題，即使是SAS也是如此;儘管他們使用了概率相乘。由於統計上的依賴性，在這裏我們將BA稱爲PCC並使用加法代替：
PCC =（TPR + TNR）/ 2
TPR = TP /（條件正例）= TP /（TP + FN）
TNR = TN /（條件負例）= TN /（TN + FP）。
PCC告訴我們分類器在檢測任何一個分類中有多好，它是一個概率值[0,1]。請注意，即使我們的數據在生產中是均衡的，在肯定和否定情況下使用總精度也會產生誤導，即使我們衡量績效的批次可能不均衡，所以僅憑準確性並不是一個好方法。
生產問題
迫在眉睫的問題是如何在生成混淆矩陣時選擇閾值？一種選擇是選擇一個閾值，以使PCC在測試集上的生產最大化。爲了改善PCC的估計，可以對測試集進行重採樣以獲得良好的不確定性。
結論
我們嘗試通過引入PCC或平衡精度作爲二進制分類器的一種簡單且可解釋的性能指標來規避報告AUC。這很容易向非技術人員解釋。可以引入一種改進的PCC，它考慮到更好的估計屬性，但是主要解釋仍然與正確分類的可能性相同。
（1）獲取更多優質內容及精彩資訊，可前往：https://www.cda.cn/?seo
（2）瞭解更多數據領域的優質課程：
