【論文筆記】ANR: Aspect-based Neural Recommender 基於方面的神經網絡推薦系統

【大概記錄一下這篇論文和思考】

ANR: Aspect-based Neural Recommender 基於方面的神經網絡推薦系統

作者大大：Jin Yao Chin，Kaiqi Zhao，Shafiq Joty，Gao Cong（Nanyang Technological University, Singapore.）

現狀：

用戶評論是非常重要的數據，可以瞭解用戶的喜好和關注點。
冷啓動問題。（新建用戶時，初始數據過少，無法推薦。）
用CNN把用戶評論和物品信息一起卷積來獲取其特徵的方法，無法獲得用戶和物品的細粒度交互信息。（如：DeepCoNN, D-Attn, and TransNets）
評論中的無關信息。（一句話中，不是所有的單詞都是有用的，存在很多噪聲。）
同一個詞語在不同句子中有不同的情感。（(1) "This laptop has a long battery life"【正面情緒】, and (2) "The laptop requires a long startup time"【負面情緒】.）
不同用戶對於同一物品的關注點不同（手機——關注價格、性能等），同一用戶對不同物品的關注點不同（恐怖電影關注情節，動作電影關注演技），不可一概而論。

主要工作：

• We propose a novel aspect-based neural recommender system which performs aspect-based representation learning for
users and items by designing an attention mechanism to focus on the relevant parts of these reviews while learning the representation of aspects on the task. Furthermore, we estimate aspect-level user and item importance in a joint manner
using the idea of co-attention, which allows us to model the finer-grained interactions between users and items. To the best of our knowledge, this is the first paper to propose an end-to-end neural aspect-based recommender system which concurrently addresses the above-mentioned requirements.

提出了一個新的基於方面級別的（aspect-based）神經網絡推薦系統。（方面aspect即用戶從哪個角度評論，或者商品從哪個角度介紹，例如價格、性能、服務等。）爲了學習用戶和物品的基於方面的表達，設計一個注意力機制，在學習方面級別表達時，只關注評論的相關部分。（評論中不是所有文本都在描述一個方面。）在預測級別方面的重要程度時，使用了共同關注的方法（co-attention），可以同時關注用戶和物品之間的細粒度關係。（例如：一個人買生活用品更注重經濟實惠，買電子產品注意機器性能。）

• Extensive experiments have been conducted on 25 benchmark datasets from Amazon and Yelp to evaluate our proposed model against several state-of-the-art baselines such as DeepCoNN, D-Attn, and ALFM.

在亞馬遜和Yelp的25個基準數據集上進行了廣泛的實驗，以評估模型是否符合一些最先進的基準線，如DeepCoNN、D-Attn和ALFM。

• We investigate how the different components in our proposed model contribute to its effectiveness. In particular, we include an qualitative analysis of the aspects which are learned automatically by our model without any external supervision.

研究模型中的不同組成部分對其有效性的貢獻。特別是，對模型自動學習的方面進行了定性分析，而無需任何外部監督。

模型圖：

Embedding Layer：

將用戶文檔的矩陣 $D_{u}$ 轉化乘矩陣 $M_{u}\in \mathbb{R}^{n \times d}$ ，通過查找變矩陣 $f:V\rightarrow \mathbb{R}^d$ ，通過查找表，將每個詞彙表V中的詞彙變成一個d維向量。

這個embedding矩陣需要與訓練，比如word2vec或者GLoVe，因爲用這兩個方法可以記住句子中詞語的順序，而不像bag-of-words完全放棄單詞順序。

Aspect-based Representation Learning：

方面集合（set of aspects）包括許多方面，比如價格、質量、位置等等。A集合中共有K個元素。在這裏，用戶和物品使用的集合A相同。

使用 $M_{u}$ 得到方面級別的用戶表達 $P_{u}=\{p_{u,a}|a \in A\}$

用戶文本 $D_{u}$ 包括用戶u過去所有交互過的物品的評論，這些評論裏包含着方面A的觀點。物品文本 $D_{i}$ 同理。

在這一層中學習方面集合A包括哪些，和方面級別（aspect-level，也就是類似“喜歡”、“一般”、“不喜歡”）。

幾個基本客觀事實：（文中提到的）：

1.不是文檔中的每一個詞都一樣重要，我們只需要注意一些特定部分。

2.同一個詞在不同句子中有不同含義。我們需要考慮一個詞在不同方面中的不同情感。（(1) "This laptop has a long battery life"【正面情緒】, and (2) "The laptop requires a long startup time"【負面情緒】.）

3.方面相關的詞彙（如價格、口味），和評價該方面的詞離的很近（如貴、好喫）。

用戶u在方面a的方面級別的用戶表達（aspect-level user representation） $p_{u,a}$

方面級別特殊單詞投射矩陣（aspect-specific word projection matrix） $W_{a}\in \mathbb{R}^{d \times h_{1}}$ ，表達在a方面時單詞的含義（由於事實2可知，同一詞彙在不同方面的句子中含義不同）

$M_{u,a}[i]=M_{u}[i]W_{a}$

$M_{u}[i]$ 是一個維爲向量，表達文本矩陣 $M_{u}$ 中第i個單詞的embedding。 $M_{u,a}[i]$ 爲這第i個單詞在這個方面下的表達。一篇文檔共有n個單詞，所以 $M_{u,a}\in \mathbb{R}^{n \times h_{1}}$ 。如果考慮全部K個方面，總結果就是 $\mathbb{R}^{K \times n \times h_{1}}$ 的矩陣。