信息檢索中 (IR) 的評價指標: P@n, MAP, MRR, DCG, NDCG

P@n

前 n 個結果的準確度, P指的是Precision. 如果用$y_i=0,1$分別表示第 i 個結果相關、不相關, 則
$P@n = \frac{1}{n} \sum_{i=1}^ny_i$
在評測系統的 P@n 時, 對每個查詢的結果計算P@n, 取這些值的平均值作爲系統的P@n.
參考:

• https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-39940-9_484

MAP

Average Precision(AP): P@n的一個平均, 計算方式如下:
$AP = \frac{1}{R} \sum_{r=1}^RP@r$
其中R是預定義的. 在評測系統的AP時, 對每個查詢的結果計算AP, 取這些值的平均值作爲系統的AP.

Mean Average Precision (MAP): 在評價一個系統的性能, 有時會用不同主題的查詢進行檢索, 評價系統的整體性能. 在第t類查詢, 系統的AP記作$AP_i$的話, MAP計算方式如下:
$MAP = \frac{1}{T} \sum_{t=1}^AP_i$
參考

• https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-39940-9_492

MRR

Mean Reciprocal Rank (MRR). 對每個查詢$q_i$, 記它第一個相關的結果排在位置$k_i$, 即rank爲$k_i$, 則Reciprocal Rank(RR)得分計作$1 / k_i$.
對所有query的RR取平均, 即爲MRR:
$MRR = \frac{1}{N}\sum_i 1/ k_i$

DCG和NDCG

Discounted Cumulative Gain (DCG): 指的, Cumulative爲將所有的結果累加起來, Discounted指給排在後面的結果加一個折扣係數, 排序位置越考後, 折扣係數越小.
DCG@N的計算方式如下
$DCG@N = \sum_{i=1}^N r_i * D_i$
其中$r_i$指每條結果的收益(Gain), $D_i$指折扣係數, 排序位置越考後, 折扣係數越小, 常用的是$1 / log(1 + i)$.
一種常用的形式如下:
$DCG@N = \sum_{i=1}^N \frac{2^{rel_i} - 1} {\log (i + 1)}$

Normalized Discounted Cumulative Gain (NDCG): 對於不同query, DCG的量級可能不同, 比如一個query對應的文檔相關性都較差, 另一個query對應的文檔都很好, 這樣評價指標就會偏向第二個query. Normalized指將一個query對應的文檔所有排序中最大的DCG求出來, 不妨計作$IDCG@N$, 則
$NDCG@N = DCG@N / IDCG@N$
舉例來說, query下有4個文檔, 相關性分別爲1 2 3 0. 則最好的排序是 3 2 1 0, 在這種排序情況下計算出來的DCG就是IDCG.