本文主要介紹下Google在RecSys 2019上的最新論文[1]，提出了一套大規模多目標排序框架應用於Youtube視頻推薦，引入MMoE解決多目標學習，以及解決用戶隱式反饋中的selection Bias問題。
介紹
本文提出了一套大規模多目標排序框架應用於Youtube視頻推薦平臺。衆所周知，Youtube視頻推薦面臨着衆多的挑戰，包括需要解決多個互相競爭的排序目標、以及用戶反饋中的選擇偏差（selection bias）等等。爲了解決這些問題，我們引入了MMoE[2]來優化多目標排序目標。另外，我們改進了W & D框架來解決用戶反饋的selection bias。在Youtube視頻推薦的線上實驗也證明了本文算法的顯著提升。
所謂相互競爭的排序目標，是指在排序的優化目標上往往是相互衝突的。比如我們不僅希望用戶觀看，還希望用戶能給出高評價並分享。所謂用戶隱式反饋中的選擇偏差（selection bias），具體來說比如用戶點擊觀看視頻僅僅是因爲它位置比較靠前，而非用戶真正喜歡。因此用當前系統收集到的數據訓練出來的模型會引發bias，從而形成一個反饋循環，越來越偏。
模型架構
本文提出的系統模型架構如下圖所示。具體來說，首先將需要學習的多目標分成兩類：engagement目標（點擊、觀看等用戶參與度）和satisfaction目標（用戶點贊、評論等喜歡程度）。
對於這兩類稍微有點衝突的多目標任務，我們引入MMoE的結構來解決，並通過門結構來加權選擇更好地學習獨立的目標。
爲了減少訓練數據中的selection bias（比如position bias），我們添加了如下圖左邊的淺層塔，接收selection bias相關的特徵作爲輸入（比如排序位置），輸出則作爲主模型最終預測的偏差項。模型將目標分解爲兩部分，一個是無偏的用戶偏好，另一個是傾向分。模型結構可以看做是Wide & Deep的擴展，用以解決用戶反饋中的selection bias。
MMoE結構
如前所述，本文將需要學習的多目標分爲參與度和滿意度兩類，如果是分類問題就用cross entropy loss學習；如果是迴歸問題則用square loss。最後用加權公式來平衡用戶參與度和滿意度指標，取得最佳效果。
多目標的排序系統中通常使用的是shared-bottom結構（如下圖a所示），但是這種hard-parameter強行共享底層的方案對於相關性小的目標之間的任務，效果是此消彼長有損傷的。因此爲了同時學習多個互相沖突的目標並達到平衡，我們採用並擴展MMoE結構來解決多目標衝突問題。
MMoE結構設計的目的就是希望能夠在不引入過多模型參數的前提下能夠捕捉學習不同任務之間的區別。如下圖b所示，網絡結構上主要的區別是使用MoE層來替換共享的ReLu層，併爲每一個任務單獨添加一個額外的門結構。
消除selection bias
在推薦排序系統中，用戶的隱式反饋譬如點擊、觀看等被廣泛地應用在訓練深度排序網絡模型中。但是用戶的隱式反饋是有bias偏差的，最明顯的就是position bias，很多時候用戶點擊觀看某個視頻並不是因爲真的喜歡某個視頻，而僅僅只是因爲其排序的位置比較靠前。因此我們需要去移除這種bias，打破這種越來越偏的循環。
因此我們擴展了W & D網絡結構，將模型的預測輸出層分解成爲兩部分：學習engagement的main tower；以及學習selection bias的shallow tower。如下圖所示，shallow tower訓練的時候將產生selection bias的特徵譬如排序位置bias作爲輸入。在線預測時，位置特徵設爲missing。
實驗結果
Youtube線上實驗結果如下圖所示，baseline是常用的Shared-Bottom結構。可以看出MMoE結構在基線的基礎上，在engagement和satisfaction的兩個目標上均有顯著提升。
與此同時，我們可以看到排序位置的1-9上的ctr分佈如下圖所示。這裏面有兩個方面因素，一方面預估ctr越高則排序位置越高；另一方面由於position bias的存在，排序位置越高則用戶更容易點擊。模型shallow tower學習到的selection bias分佈也顯示了這一點。
參考資料：
1. Recommending What Video to Watch Next: A Multitask Ranking System
2. Modeling Task Relationships in Multi-task Learning with Multi-Gate Mixture-of-Experts
3. https://zhuanlan.zhihu.com/p/82584437
本文授權轉載自知乎專欄“深度推薦系統”。原文鏈接：https://zhuanlan.zhihu.com/p/88834117