準確率、召回率、F-Measure

準確率、召回率、F-Measure

1.準確率(Precision)與召回率(Recall)
Precision指的是檢索出來的條目(比如:文檔、網頁等)有多少是準確的,衡量的是檢索系統的查準率;
Recall指的是所有準確的條目有多少被檢索出來了,衡量的是檢索系統的查全率。
兩者取值在0和1之間,數值越接近1,查準率或查全率就越高。

2.綜合評價指標(F-Measure)
當然希望檢索結果Precision越高越好,同時Recall也越高越好,但事實上這兩者在某些情況下有矛盾的。比如極端情況下,我們只搜索出了一個結果,且是準確的,那麼Precision就是100%,但是Recall就很低;而如果我們把所有結果都返回,那麼比如Recall是100%,但是Precision就會很低。因此在不同的場合中需要自己判斷希望Precision比較高還是Recall比較高。

比如對於法官判案會更偏向於高Precision,Recall低一點也沒關係,如果證據不足,那麼一般會判無罪,因爲冤假錯案對於被告、法官本人、社會輿論的影響都會很大。
但是對於艾滋病檢查會更偏向於高Recall,Precision低一點也沒關係,因爲如果把一個艾滋病早期病人誤判爲陰性,那麼可能耽誤他最佳治療時間,而可能會傳染更多的人,後果很嚴重。

綜合衡量準確率與召回率的最常見的方法就是F-Measure(又稱爲F-Score)

F-Measure1

其中β是參數,P是精準率,R是召回率
當參數β>1時,召回率有更大影響,可以考慮爲,β無窮大時,分母中的R和分子中的1都可忽略不計,則F=RF=R,只有召回率起作用。
當參數0<β<1時,精準率有更大影響,可以考慮爲,β無限接近0時,分母中的β2和分子中的β2都可忽略不計,則F=PF=P,只有精準率起作用。
當參數α=1時,召回率跟準確率就一樣重要,就是最常見的F1指標,也就是

F-Measure2

舉個栗子:
某池塘有1400條鯉魚,300只蝦,300只鱉。現在以捕鯉魚爲目的。撒一大網,逮着了700條鯉魚,200只蝦,100只鱉。那麼,這些指標分別如下:
正確率 = 700 / (700 + 200 + 100) = 70%
召回率 = 700 / 1400 = 50%
F1指標 = 70% * 50% * 2 / (70% + 50%) = 58.3%

不妨看看如果把池子裏的所有的鯉魚、蝦和鱉都一網打盡,這些指標又有何變化:
正確率 = 1400 / (1400 + 300 + 300) = 70%
召回率 = 1400 / 1400 = 100%
F1指標 = 70% * 100% * 2 / (70% + 100%) = 82.35%

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章