個性化推薦系統現在應用於很多大的網絡公司的任務中，包括廣告的ctr預測和排序。儘管這些方法已經有了很久的歷史，但是這些方法只是進來纔有神經網絡的。針對個性化推薦的深度學習模型的結構設計主要兩個方面的貢獻。
第一個來自推薦系統的觀點。這些系統最初使用content filtering，一些專家將產品分類，用戶選擇他們喜歡的類別，然後基於他們的喜好匹配。該領域後來發展到使用collaborative filtering，基於用戶過去的行爲推薦，例如之前對給定的產品的評級。通過將用戶和產品分組來提供推薦的neighborhood 方法，和通過矩陣分解技術的某些隱含因素來描述用戶和產品的latent factor方法 後來得到了成功的應用。
第二個觀點來自預測分析，通過統計模型來分類或預測基於給定的數據事件發生的概率。預測模型從使用簡單的模型如線性和邏輯迴歸模型轉向包含深層網絡的模型。爲了處理分類數據，這些模型採用了embeddings技術，將one-和multi-hot向量轉變到抽象空間的稠密表達。這個抽象空間可以解釋爲推薦系統發現的潛在因素的空間。
在本文中，我們介紹了一個個性化模型，用上邊描述的兩個方面的結合來構造的。該模型用embeddings來處理表示分類數據的稀疏特徵，用MLP來處理稠密特徵，然後將這些特徵顯示的用24中的統計技術進行交叉。最後通過另一個MLP後處理交叉結果來找到事件概率。我們將這個模型成爲DLRM。這個模型的PyTorch和Caffe2實現的將開源用於測試和實驗。
2、模型設計和結構
在這部分，我們將描述DLRM的設計。
我們將從網絡的高水平的組件開始，解釋how和why他們以這種特定的方式組合在一起，來啓發將來的模型設計。
然後描述低級別的組成模型的操作和器件，來啓發將來的硬件和系統設計。
2.1、DLRM的組件
DLRM的高級別組件可以通過回顧以前的方法更容易的理解。我們將避免全面的科學文獻回顧，相反關注早期模型中的四種技術，可以解釋DLRM的高級別組件。
2.1.1 Embeddings
爲了處理分類數據，嵌入向量將每個分類映射到抽象空間的稠密表達。