知識圖譜與推薦系統(DKN)

DKN: Deep Knowledge-Aware Network for News Recommendation

論文下載鏈接：https://arxiv.org/abs/1801.08284v1

本文模型：將知識圖表示與新聞推薦相結合的深度知識感知網絡（DKN）

1. 新聞推薦的挑戰：

• 對時間高度敏感，其相關性在短時間內迅速失效。

• 人們在新聞閱讀中對話題敏感，因爲他們通常對多個特定的新聞類別感興趣。

• 新聞語言通常是高度濃縮的，由大量的知識實體和常識組成。

2. DKN框架：

（插入：基礎知識，知識圖嵌入和用於句子表示學習的卷積神經網絡）

1) 知識圖嵌入




TransR:

TransD:


2）用於句子表示學習的卷積神經網絡

1. DKN整體框架：
1）輸入：一條候選新聞（Candidate news）、一個用戶的點擊歷史（User’s clicked news）
2） KCNN將新聞的詞級和知識級表示進行融合，得到每一條新聞的知識感知表示向量。
3）注意力模塊，自動將候選新聞與單擊的每一天新聞進行匹配，用不同的權重聚合用戶的歷史記錄。
4）深度神經網絡（DNN）對用戶嵌入和候選新聞嵌入進行處理，進行CTR預測。

1）輸入：

對於在線新聞平臺的用戶，其點擊歷史記錄爲：

每一項 t 表示爲第i個用戶點擊的第j條新聞的標題。 每個新聞標題 t 由一系列單詞組成，t = [w1, w2, …]
知識圖G：由三元組（h, r, t）組成，h, r, t 分別表示三元組的頭實體，關係，尾實體，G中的實體 e 爲特定的單詞或短語。t 中的 w 與知識圖中的實體e相關聯。
目標：預測用戶i是否會點擊候選新聞tj

2）KCNN：

1. 實體嵌入：
   實體關聯，利用實體鏈接技術將t 中單詞與知識圖中預先定義的實體關聯，消除歧義；
   構造子圖，構造一個子圖，從原始知識圖中提取它們之間的所有關係鏈接；
   知識子圖擴展，將知識子圖擴展到一跳內的所有實體；
   表示學習，利用TransE，TransR，TransH等多種知識圖嵌入（KGE）方法進行實體表示學習。
   
2. 上下文嵌入：
   
3. 新聞特徵提取：
   （1）將知識提取中得到的word embedding，entity embedding，context embedding作爲三個信道輸入（多通道和單詞-實體對齊方式），分別表示爲：
   
   其中函數g可以是線性變換也可以是非線性變換。
   新聞的輸入可以表示爲：
   
   （2）使用不同尺寸的filter進行卷積：
   
   （3）最大池化：
   
   將結果整合爲輸出新聞的特徵表示向量：
   

3）注意力機制：

2. 實驗

1）數據集






從a圖中可以看出新聞具有時效性，大部分新聞在3天之後就沒有了閱讀量；b圖可以看出新聞數據的稀疏性；c和d表示新聞標題的單詞數平均在7.9，涉及的實體數平均在3.7；e和f 表示新聞數據集中實體的出現時間的分佈以及提取的知識圖中的上下文實體的數量分佈（遵循長尾分佈）。

2）評價指標
F1-score 和 AUC值

3）實驗結果






4）討論

3. 結論

代碼地址：https://github.com/hwwang55/DKN