推薦系統中的NDCG

說到NDCG就需要從CG開始說起。

CG（cumulative gain，累計增益）可以用於評價基於打分/評分的個性推薦系統。假設我們推薦k個物品，這個推薦列表的CGk計算公式如下：
$CG_k=\sum _i^k rel_i$.
$rel_i$ 表示第$k$個物品的相關性或者評分。假設我們共推薦$k$個文檔，$rel_i$可以是用戶對第$i$部電影的評分。

比如豆瓣給用戶推薦了五部電影，

$M1,M2,M3,M4,M5,$

該用戶對這五部電影的評分分別是

5, 3, 2, 1, 2

那麼這個推薦列表的$CG$等於
$CG_5=5+3+2+1+2=13.$
$CG$沒有考慮推薦的次序，在此基礎之後我們引入對物品順序的考慮，就有了$DCG$(discounted CG)，折扣累積增益。公式如下：

$DCG_k=\sum_{i=1}^k \frac{2^{\text{rel}_i}-1}{\log_2(i+1)}.$
比如豆瓣給用戶推薦了五部電影，

$M1,M2,M3,M4,M5，$

該用戶對這五部電影的評分分別是

5, 3, 2, 1, 2

那麼這個推薦列表的$DCG$等於
$DCG_5=\frac{2^5-1}{\log_2 2}+\frac{2^3-1}{\log_2 3}+\frac{2^2-1}{\log_2 4}+\frac{2^1-1}{\log_2 5}+\frac{2^2-1}{\log_2 6}=31+4.4+1.5+0.4+1.2=38.5$
$DCG$沒有考慮到推薦列表和每個檢索中真正有效結果個數，所以最後我們引入$NDCG$(normalized discounted CG)，顧名思義就是標準化之後的$DCG$。

$NDCG_k=\frac {DCG_k} {IDCG_k}$
其中$IDCG$是指ideal $DCG$，也就是完美結果下的$DCG$。

繼續上面的例子，如果相關電影一共有7部

$M1,M2,M3,M4,M5,M6,M7$
該用戶對這七部電影的評分分別是

5, 3, 2, 1, 2 , 4, 0

把這7部電影按評分排序

5, 4, 3, 2, 2, 1, 0

這個情況下的完美DCG是
$IDCG_5=\frac{2^5-1}{\log_2 2}+\frac{2^4-1}{\log_2 3}+\frac{2^3-1}{\log_2 4}+\frac{2^2-1}{\log_2 5}+\frac{2^2-1}{\log_2 6}=31+9.5+3.5+1.3+1.2=46.5$
所以

$NDCG_5 = \frac{DCG_5}{IDCG_5}=\frac{38.5}{46.5}=0.827$
NDCG是0到1的數，越接近1說明推薦越準確。
下圖爲兩個變量的概念解析：