機器學習(ML),自然語言處理(NLP),信息檢索(IR)等領域,評估(Evaluation)是一個必要的 工作,而其評價指標往往有如下幾點:準確率(Accuracy),精確率(Precision),召回率(Recall)和F1-Measure。(注： 相對來說，IR 的 ground truth 很多時候是一個 Ordered List, 而不是一個 Bool 類型的 Unordered Collection，在都找到的情況下，排在第三名還是第四名損失並不是很大，而排在第一名和第一百名，雖然都是“找到了”，但是意義是不一樣的，因此 更多可能適用於 MAP 之類評估指標。)
本文將簡單介紹其中幾個概念。中文中這幾個評價指標翻譯各有不同，所以一般情況下推薦使用英文。
現在我先假定一個具體場景作爲例子。
假如某個班級有男生80人,女生20人,共計100人.目標是找出所有女生.
現在某人挑選出50個人,其中20人是女生,另外還錯誤的把30個男生也當作女生挑選出來了.
作爲評估者的你需要來評估(evaluation)下他的工作
首先我們可以計算準確率(accuracy),其定義是: 對於給定的測試數據集，分類器正確分類的樣本數與總樣本數之比。也就是損失函數是0-1損失時測試數據集上的準確率[1].
這樣說聽起來有點抽象，簡單說就是，前面的場景中，實際情況是那個班級有男的和女的兩類，某人(也就是定義中所說的分類器)他又把班級中的人分爲男女兩類。accuracy需要得到的是此君分正確的人佔總人數的比例。很容易，我們可以得到:他把其中70(20女+50男)人判定正確了,而總人數是100人，所以它的accuracy就是70 %(70 / 100).
由準確率，我們的確可以在一些場合，從某種意義上得到一個分類器是否有效，但它並不總是能有效的評價一個分類器的工作。舉個例子,google抓取 了argcv 100個頁面，而它索引中共有10,000,000個頁面,隨機抽一個頁面，分類下,這是不是argcv的頁面呢?如果以accuracy來判斷我的工 作，那我會把所有的頁面都判斷爲"不是argcv的頁面",因爲我這樣效率非常高(return false,一句話),而accuracy已經到了99.999%(9,999,900/10,000,000),完爆其它很多分類器辛辛苦苦算的值,而我這個算法顯然不是需求期待的,那怎麼解決呢?這就是precision,recall和f1-measure出場的時間了.
在說precision,recall和f1-measure之前,我們需要先需要定義TP,FN,FP,TN四種分類情況.
按照前面例子,我們需要從一個班級中的人中尋找所有女生,如果把這個任務當成一個分類器的話,那麼女生就是我們需要的,而男生不是,所以我們稱女生爲"正類",而男生爲"負類".
| 相關(Relevant),正類 | 無關(NonRelevant),負類 | |
| 被檢索到(Retrieved) | true positives(TP 正類判定爲正類,例子中就是正確的判定"這位是女生") | false positives(FP 負類判定爲正類,"存僞",例子中就是分明是男生卻判斷爲女生,當下僞娘橫行,這個錯常有人犯) |
| 未被檢索到(Not Retrieved) | false negatives(FN 正類判定爲負類,"去真",例子中就是,分明是女生,這哥們卻判斷爲男生--梁山伯同學犯的錯就是這個) | true negatives(TN 負類判定爲負類,也就是一個男生被判斷爲男生,像我這樣的純爺們一準兒就會在此處) |
通過這張表,我們可以很容易得到這幾個值:
TP=20
FP=30
FN=0
TN=50
精確率(precision)的公式是,它計算的是所有"正確被檢索的item(TP)"佔所有"實際被檢索到的(TP+FP)"的比例.
在例子中就是希望知道此君得到的所有人中,正確的人(也就是女生)佔有的比例.所以其precision也就是40%(20女生/(20女生+30誤判爲女生的男生)).
召回率(recall)的公式是,它計算的是所有"正確被檢索的item(TP)"佔所有"應該檢索到的item(TP+FN)"的比例。
在例子中就是希望知道此君得到的女生佔本班中所有女生的比例,所以其recall也就是100%(20女生/(20女生+ 0 誤判爲男生的女生))
F1值就是精確值和召回率的調和均值,也就是
調整下也就是
例子中 F1-measure 也就是約爲 57.143%().
需要說明的是,有人[2]列了這樣個公式
將F-measure一般化.
F1-measure認爲精確率和召回率的權重是一樣的,但有些場景下,我們可能認爲精確率會更加重要,調整參數a,使用Fa-measure可以幫助我們更好的evaluate結果.
話雖然很多,其實實現非常輕鬆,點擊此處可以看到我的一個簡單的實現.
References
[1] 李航. 統計學習方法[M]. 北京:清華大學出版社,2012.
[2] 準確率（Precision）、召回率（Recall）以及綜合評價指標（F1-Measure
）
==================================================
自己理解 + 我老師的說法就是，準確率就是找得對，召回率就是找得全。
大概就是你問問一個模型，這堆東西是不是某個類的時候，準確率就是 它說是，這東西就確實是的概率吧，召回率就是， 它說是，但它漏說了（1-召回率）這麼多。
==================================================
在信息檢索、分類體系中，有一系列的指標，搞清楚這些指標對於評價檢索和分類性能非常重要，因此最近根據網友的博客做了一個彙總。
準確率、召回率、F1
信息檢索、分類、識別、翻譯等領域兩個最基本指標是召回率(Recall Rate)和準確率(Precision Rate)，召回率也叫查全率，準確率也叫查準率，概念公式:
召回率(Recall) = 系統檢索到的相關文件 / 系統所有相關的文件總數
準確率(Precision) = 系統檢索到的相關文件 / 系統所有檢索到的文件總數
圖示表示如下：
B：檢索到的，但是不相關的 （搜到的但沒用的）
C：未檢索到的，但卻是相關的 （沒搜到，然而實際上想要的）
D：未檢索到的，也不相關的 （沒搜到也沒用的）
注意：準確率和召回率是互相影響的，理想情況下肯定是做到兩者都高，但是一般情況下準確率高、召回率就低，召回率低、準確率高，當然如果兩者都低，那是什麼地方出問題了。一般情況，用不同的閥值，統計出一組不同閥值下的精確率和召回率，如下圖：
如果是做搜索，那就是保證召回的情況下提升準確率；如果做疾病監測、反垃圾，則是保準確率的條件下，提升召回。
所以，在兩者都要求高的情況下，可以用F1來衡量。
- F1 = * P * R / (P + R)
公式基本上就是這樣，但是如何算圖1中的A、B、C、D呢？這需要人工標註，人工標註數據需要較多時間且枯燥，如果僅僅是做實驗可以用用現成的語料。當然，還有一個辦法，找個一個比較成熟的算法作爲基準，用該算法的結果作爲樣本來進行比照，這個方法也有點問題，如果有現成的很好的算法，就不用再研究了。
AP和mAP(mean Average Precision)
mAP是爲解決P，R，F-measure的單點值侷限性的。爲了得到 一個能夠反映全局性能的指標，可以看考察下圖，其中兩條曲線(方塊點與圓點)分佈對應了兩個檢索系統的準確率-召回率曲線
可以看出，雖然兩個系統的性能曲線有所交疊但是以圓點標示的系統的性能在絕大多數情況下要遠好於用方塊標示的系統。
從中我們可以 發現一點，如果一個系統的性能較好，其曲線應當儘可能的向上突出。
更加具體的，曲線與座標軸之間的面積應當越大。
最理想的系統， 其包含的面積應當是1，而所有系統的包含的面積都應當大於0。這就是用以評價信息檢索系統的最常用性能指標，平均準確率mAP其規範的定義如下:(其中P，R分別爲準確率與召回率)
ROC和AUC
ROC和AUC是評價分類器的指標，上面第一個圖的ABCD仍然使用，只是需要稍微變換。
回到ROC上來，ROC的全名叫做Receiver Operating Characteristic。
ROC關注兩個指標
True Positive Rate ( TPR ) = TP / [ TP + FN] ，TPR代表能將正例分對的概率
False Positive Rate( FPR ) = FP / [ FP + TN] ，FPR代表將負例錯分爲正例的概率
在ROC 空間中，每個點的橫座標是FPR，縱座標是TPR，這也就描繪了分類器在TP（真正的正例）和FP（錯誤的正例）間的trade-off。ROC的主要分 析工具是一個畫在ROC空間的曲線——ROC curve。我們知道，對於二值分類問題，實例的值往往是連續值，我們通過設定一個閾值，將實例分類到正類或者負類（比如大於閾值劃分爲正類）。因此我們 可以變化閾值，根據不同的閾值進行分類，根據分類結果計算得到ROC空間中相應的點，連接這些點就形成ROC curve。ROC curve經過（0,0）（1,1），實際上(0, 0)和(1, 1)連線形成的ROC curve實際上代表的是一個隨機分類器。一般情況下，這個曲線都應該處於(0, 0)和(1, 1)連線的上方。如圖所示。
用ROC curve來表示分類器的performance很直觀好用。可是，人們總是希望能有一個數值來標誌分類器的好壞。
於是Area Under roc Curve(AUC)就出現了。顧名思義，AUC的值就是處於ROC curve下方的那部分面積的大小。通常，AUC的值介於0.5到1.0之間，較大的AUC代表了較好的Performance。
AUC計算工具：
http://mark.goadrich.com/programs/AUC/
P/R和ROC是兩個不同的評價指標和計算方式，一般情況下，檢索用前者，分類、識別等用後者。
參考鏈接：
http://www.vanjor.org/blog/2010/11/recall-precision/
http://bubblexc.com/y2011/148/
http://wenku.baidu.com/view/ef91f011cc7931b765ce15ec.html
：Recall，又稱“查全率”——還是查全率好記，也更能體現其實質意義。
準確率
“召回率”與“準確率”雖然沒有必然的關係（從上面公式中可以看到），在實際應用中，是相互制約的。要根據實際需求，找到一個平衡點。
當 我們問檢索系統某一件事的所有細節時（輸入檢索query查詢詞），Recall指：檢索系統能“回憶”起那些事的多少細節，通俗來講就是“回憶的能
力”。“能回憶起來的細節數” 除以 “系統知道這件事的所有細節”，就是“記憶率”，也就是recall——召回率。簡單的，也可以理解爲查全率。
________________________________________________________________
在人工智能中，混淆矩陣（confusion matrix）是可視化工具，特別用於監督學習，在無監督學習一般叫做匹配矩陣。
|
|
預測 | |||
|
類1
|
類2
|
類3
|
||
|
實際 |
類1
|
43
|
5
|
2
|
|
類2
|
2
|
45
|
3
|
|
|
類3
|
0
|
1
|
49
|
|
第一行說明類1的50個樣本有43個分類正確，5個錯分爲類2，2個錯分爲類3