整體評估
檢測評估
描述符評估
評價描述符 Descriptor 的可區分度,具體指在不同描述符距離閾值下的 Precision-Recall 曲線的 Area Under Curve (AUC),使用 NN 匹配策略。簡單來說就是設置一個描述符距離閾值,兩個描述符的距離小於該閾值認爲二者是匹配上的,否則是非匹配上的,但小於該閾值的實際上有可能是匹配關係也有可能是非匹配關係。區分如下表:
匹配關係
非匹配關係
匹配上(小於閾值)
TP (true positive)
FP (false positive)
未匹配上(大於等於閾值)
FN (false negative)
TN (true negative)
所以:
T r u e P o s i t i v e R a t e = T P R = T P T P + F N T r u e N e g a t i v e R a t e = T N R = T N F P + T N F a l s e P o s i t i v e R a t e = F P R = F P F P + T N F a l s e N e g a t i v e R a t e = F N R = F N T P + F N
TruePositiveRate = TPR = \frac{TP}{TP + FN} \\
TrueNegativeRate = TNR = \frac{TN}{FP + TN} \\
FalsePositiveRate = FPR = \frac{FP}{FP + TN} \\
FalseNegativeRate = FNR = \frac{FN}{TP + FN}
T r u e P o s i t i v e R a t e = T P R = T P + F N T P T r u e N e g a t i v e R a t e = T N R = F P + T N T N F a l s e P o s i t i v e R a t e = F P R = F P + T N F P F a l s e N e g a t i v e R a t e = F N R = T P + F N F N
還有:
P r e c i s i o n = T P T P + F P R e c a l l = T P T P + F N A c c u r a c y = T P + T N T P + T N + F P + F N
Precision = \frac{TP}{TP + FP} \\
Recall = \frac{TP}{TP + FN} \\
Accuracy = \frac{TP + TN}{TP + TN + FP + FN}
P r e c i s i o n = T P + F P T P R e c a l l = T P + F N T P A c c u r a c y = T P + T N + F P + F N T P + T N
那知道上面後,下面說明一下 ROC(receiver operating characteristic) 曲線和 PR 曲線:
ROC 曲線是 TPR 爲縱軸,FPR 爲橫軸,二者是正相關關係,是上升的曲線。
PR 曲線是 Precision 爲縱軸,Recall 爲橫軸,二者是負相關關係,是下降的曲線。
Area Under Curve (AUC) 就是這兩個曲線下面積,面積越大效果越好。