在推薦系統中，多目標優化一直是熱門話題，阿里巴巴的Xiao Lin、Hongjie Chen等人針對推薦中的多目標優化問題提出了一種基於帕累託效率的優化算法框架，並應用在電商推薦場景中，對GMV和CTR多個目標同時優化，線上實驗效果好於LambdaMART以及基於強化學習的CXR-RL等算法。該論文已經被RecSys 2019 會議錄用， 本文是AI前線第94篇論文導讀，我們將對這項研究工作進行詳細解讀。
介紹
推薦系統在電商平臺中扮演着至關重要的角色，推薦算法（例如，Learning To Rank ）會爲用戶生成個性化的推薦列表，可以防止用戶信息過載。通常，算法需要精心設計來滿足多個目標。然而，同時優化多個目標非常困難，其核心難點在於不同目標之間經常存在衝突。在電商推薦中，點擊率（CTR）和成交總額（GMV）是兩個並不完全一致但都很重要的目標。爲了驗證這種不一致性，我們從一個真實的電商平臺收集了一週的在線數據，並繪製了當CTR上升時GMV的變化趨勢圖。根據圖1，CTR與GMV的趨勢變化不完全一致，當CTR最優或GMV最優時，另一個目標可能是次優的，甚至是不好的。
因此，如果一個解被認爲是兩個目標的最優解，那麼意味着其中一個目標在不傷害另一個目標的情況下很難進一步改進。這種最優性在多目標優化中得到了廣泛的認可，被稱爲帕累託效率或帕累托最優性。在帕累託效率的情況下，只有當解A在所有目標上都優於解B時，解A才被認爲優於解B。帕累託效率的目標是在不受其他目標支配的情況下找到最優解。
現有的帕累託優化方法分兩類：啓發式搜索和標量化。演化算法是啓發式搜索方法中最熱門的。然而，啓發式搜索並不能保證帕累託有效性，它只能保證得到的解不被對方支配（但仍然可以被帕累託有效解支配）。與啓發式搜索方法不同，標量化方法是通過目標函數的加權和將多目標問題轉化爲單目標問題。然後通過合適的標量，優化重構的目標函數來獲得帕累託有效解。目標函數的標量化權重通常是手動確定的，因此帕累託有效性仍然無法保證。總而言之，現有的演化算法和標量化算法難以保證帕累託有效解。最近，Karush Kuhn Tucker（KKT）條件被證明可用於指導標量化。我們嘗試在KKT條件下構建算法，並提出了一種新的算法框架，在理論保證的前提下，生產標量化的權重。
具體地說，我們提出了一個帕累託有效的算法框架“PE-LTR”，它用LTR過程優化多個目標。爲了給每個用戶生成候選的item，考慮到多目標，PE -LTR對候選item進行排序，使得這種排序是帕累託有效的。假設每一個目標都存在相應的可微公式，我們採用標量化技術將不同的目標協同成一個單目標函數。如前所述，除非仔細選擇權重，否則標量化技術不能保證帕累託有效性。因此，我們提出了一個標量化權值的條件，保證該解是帕累託有效的。該條件等價於一個約束優化問題，並且我們提出了一個算法，它可以通過兩步解決該問題。首先通過放寬約束來簡化問題，從而得到解析解，然後通過實施投影過程（projection procedure）得到可行解。以PE-LTR爲基礎，依據服務提供者的需求，我們提供方法來生成帕累託邊界（Pareto Frontier）和特定的推薦。爲了生成帕累託邊界，通過均勻設置目標標量權重的邊界來運行“PE-LTR”算法框架。爲了生成特定的推薦，可以使用適當的邊界運行一次PE-LTR，或者首先生成帕累託邊界，然後在特定的公平性度量下選擇一個“合適”的解。
在本文中，應用該框架來優化電商推薦的兩個重要目標，即GMV和CTR。對於電商平臺，主要目標是提升GMV，但CTR需要做出很大的犧牲很大，從長遠來看，會使平臺的活躍用戶（DAU）減少。因此，我們的目標是在同時考慮這兩個目標的前提下，找到帕累託有效解。我們分別爲GMV和CTR提出了兩個可微分公式，並應用PE-LTR框架來生成帕累托最優解。我們在一個真實的電商推薦系統上進行了大量的實驗，並將結果與最新的最佳的方法進行了比較。在線和離線實驗結果都表明，我們的解優於其他基線，並且我們的解幾乎是帕累託有效的。
這項工作的主要貢獻是：
（1）我們提出了一個通用的帕累託有效性算法框架（PE-LTR）用於多目標推薦。該框架既不依賴於模型，也不依賴於目標，顯示了其強大的可伸縮性。
（2）我們提出了一個two-step算法，它理論上保證了帕累託有效性。儘管該算法是建立在標量化技術之上的，但與其他的標量化方法相比，它的不同之處是有理論保證並且標量化權重是自動學習，而不是手動分配。
（3）以PE-LTR爲基礎，提出瞭如何生成帕累託邊界和特定的推薦。具體地說，我們建議在使用適當的公平度量下從帕累託邊界中選擇一個合適的推薦。
（4）我們使用電商推薦作爲PE-LTR的一個特例，並在一個真實的推薦系統上進行了廣泛的在線和離線實驗。結果表明，我們的算法優於其他最先進的方法，所產生的解是帕累託有效的。
（5）我們開源了一個大規模的電商推薦數據集EC-REC，其中包含展現、點擊和購買的真實記錄。據我們所知，沒有一個公共數據集同時包含三個標籤和足夠多的特徵，這個數據集可以用於進一步的研究。
提出的框架
在這一部分中，我們首先簡要介紹帕累託有效性的概念，然後具體介紹所提出框架的細節，即帕累託有效學習排序（PE-LTR）。假定多個目標對應有不同的損失函數，首先我們提出一個能保證帕累託有效解的條件，證明了該條件等價於約束二次規劃問題。然後，我們又提出了一個兩步算法來解決該問題。此外，我們還提供了用PE-LTR生成帕累託邊界和特定推薦的方法。
預備知識
首先，簡要介紹帕累託有效性的相關概念。帕累託有效性是多目標優化的一個重要概念，即給定一個系統，該系統的目標是最小化一系列目標函數f1,…,fK，帕累託有效性是一種狀態，在不損害其他多個目標的情況下，不可能再改善其中一個目標。
定義 3.1 兩個解的結果表示爲si=(fi1,…,fiK)和sj=(fj1,…,fjK)，僅在fi1≤fj1,fi2≤fj2,…fiK≤fjK（對於最小化目標）情況下，si支配sj。
帕累託效率的概念建立在支配的定義之上：
**定義3.2 ** 如果沒有其他的解sj=(fj1,…,fjK)支配si，解si=(fi1,…,fiK)就是帕累託有效解。
因此，在不損害其他目標的情況下，一個解是非帕累託有效性解，它仍可以至少在一個目標上提升，並且在多目標優化中總是可以得到帕累託有效解。值得一提的是，帕累託有效解並不是唯一的，所有這些解的集合都被稱爲“帕累託邊界”。
基於帕累託有效的學習排序算法
爲了實現帕累托最優解，我們提出了一種利用標量化技術優化多目標的學習排序方案。假設在給定的推薦系統中存在k個目標，模型F(θ)需要同時優化這些目標，其中θ表示模型參數。在不失一般性的情況下，我們假設對於K個目標存在K個不同的損失函數。
給定公式，優化第i個目標等價於最小化Li(θ)。然而，同時優化這K目標是非常複雜的，因爲對於一個目標的最優解通常對於另一個目標是次優的。因此，我們使用標量化技術將多個目標合併成單個目標。確切地說，我們利用ωi聚合損失函數：
其中，w1+w2+…+wK=1，wi≥0。在真實的場景下，目標可能有不同的優先級。在我們的案例中，我們假定約束被添加到目標中是預先定義的約束邊界。例如，wi≥ci，其中ci是一個在0-1之間的常量，c1+c2+…ci+…+cK≤1。
儘管只有一個目標公式，除非分配適當的權重，否則不能保證問題的解是帕累託有效的。但是，我們得到的標量化權重的條件，可以確保解是帕累託有效的。
3.2.1 帕累託有效條件
爲了得到多目標的帕累託有效解，我們試圖最小化聚合損失函數。模型參數的KKT條件(Karush-Kuhn-Tucher條件)：
滿足此條件的解稱爲帕累託平穩解。該條件可轉化爲以下優化問題：
已經證明該優化問題的解是0，使得滿足KKT條件，或者解能指導梯度方向來最小化所有損失函數。如果滿足KKT條件，則解是帕累託平穩的，並且在現實和溫和條件下也能做到帕累託有效性。在此條件上，我們提出了一個算法框架PE-LTR，其細節在算法1中給出了說明。
該框架以均勻的標量加權開始，然後交替地更新模型參數和標量權重。PE-LTR的核心部分是PECsolver，它通過求解問題（1）中的條件來產生標量化權值。注意，該條件是一個複雜的二次規劃問題，我們給出了在算法2中PECsolver的詳細過程。
值得一提的是，算法框架不依賴於損失函數或模型結構的特定公式。任何帶有梯度的模型和公式都可以很容易地應用到框架中。儘管算法在批處理中採用隨機梯度下降法，但該算法爲梯度下降的收斂提供了理論保證。
3.2.2 二次規劃算法
將ωi^表示爲ωi-ci，帕累託有效條件變爲：
帕累託有效條件等價於問題1，然而，由於它的二次規劃形式，解決這個問題並不是一個輕而易舉的任務。因此，我們提出了一個兩步算法，作爲帕累託有效條件求解的工具。該算法在算法2中有詳細說明。我們首先通過只考慮等式約束來鬆散問題，然後用解析解來解決鬆弛問題。然後，我們引入一個投影過程，從在所有約束下的可行解的集合中生成一個有效解。
當除了等式約束，忽略所有其他約束時：
鬆弛問題的解由定理3.3給出。
然而，因爲省略了非負性約束，問題3的解ω*^可能是無效的。因此，我們執行以下投影步驟以獲得有效的解。
這個問題是一個非負最小二乘問題，並且可以很容易地用有效集方法求解。由於篇幅的限制，我們省略了問題3算法的細節。算法2的複雜度主要由僞逆(pseudo-inverse)運算決定，它與目標數目有關。通常目標的數量是有限的，因此算法2的運行時間是可忽略不計的，在線實驗也證實了這一點。
帕累託邊界生成與解的選擇
多目標優化可以用於尋找一個特定的帕累託解，或者被用來生成一組解來構造帕累託邊界。在本節中，我們將介紹用算法1生成解的細節。
帕累託邊界生成
在算法1中，給定不同目標的邊界，我們可以得到帕累托最優解。然而，存在一些場景，我們期望有一系列的帕累托最優解存在，即帕累託邊界。這對於算法框架來說很簡單，我們將不同的值設置到各個目標的不同邊界上執行算法1就可以得到。
爲了得到帕累託邊界，我們執行多次算法1，並且在每個運行中用適當的邊界生成的解產生帕累托最優解。我們適當地選擇邊界，以便均勻分佈的帕累託點可以生成一個好的均價分佈近似的帕累託邊界。
解的選擇
在期望單個推薦的情況下，我們需要選擇一個特定的帕累托最優解。當不同目標的優先級可用時，我們可以通過爲目標設置適當的邊界來獲得適當的帕累託有效推薦並執行一次算法1。
當優先級不可用時，我們可以首先生成帕累託邊界並選擇一個對目標公平的解。無論是在經濟學理論還是在推薦系統背景下，公平都有幾種不同的定義。最直觀的度量之一是 Least Misery，它集中在最“悲慘”的目標上，在我們的例子中，一個“Least Misery”的推薦是最小化目標損失函數的最大值：
另一個常用的度量是公平邊際效用，即選擇一個解，其中優化一個目標的成本幾乎等於其他目標的收益：
給定一個生成的帕累託邊界，方程5或者6的最小值的解，被選擇作爲最後的推薦，這取決於公平性的選擇。
電商推薦的特殊性
在PE-LTR算法框架的基礎上，我們詳細介紹了其在電商推薦中的具體應用。電商推薦中最重要的兩個目標是GMV和CTR。對於電商平臺，GMV通常是首要目標。然而，CTR是評估用戶體驗的一個重要指標，長遠來看影響平臺的擴大。因此，我們的目標是考慮兩個目標的前提下，找到一個推薦是帕累托最優的。
考慮到在現實環境中，LTR模型以流數據爲輸入，在線更新其參數。因此，在線的LTR模型通常遵循point-wise的排序方案。我們將問題描述爲二元分類問題，並針對這兩個目標分別設計兩個不同的損失函數。
在電商推薦系統中，用戶反饋可以大致分爲三種類型：展現、點擊和購買。假定表示一個實例爲(xj,yj,zj),j∈ [1,…,N]，給定point-wise的排序模型F(θ)，我們提出優化這兩個目標，即CTR和GMV。對於CTR優化，我們的目標是最小化：
對於GMV優化，我們的目標是最小化：
其中h（price(j)）是關於price(j)的凹單調非遞減函數，price(j)表示xj中item的價格。在我們的公式中，我們選擇h（price(j)）=log（price(j)）。我們假設p（zj＝1，yj＝1）與模型F(θ)參數無關。因此，給定一個模型F(θ)和Lctr（θ，x，y，z）和Lgmv（θ，x，y，z）的表達式，電商推薦問題變成：
注意，提出的框架不依賴於特定的模型結構或損失公式，只要模型有梯度，它就可以工作。因此，CTR和GMV損失的計算公式不是本文的重點，而更爲精心設計的計算公式可以應用到這個框架中。
此外，我們沒有關注特定的LTR模型，而是使用三種不同的典型模型進行比較，即LR、DNN和WDL。DNN模型是一個三層MLP，在wide&deep模型中具有與深部結構相同的結構。對於所有的神經網絡組件，我們選擇tanh作爲每個隱藏層的激活函數，而最後一層採用線性函數作爲輸出。在實驗5中對三種不同模型進行了比較。
實驗
在本節中，我們將介紹實驗的詳細細節，旨在回答以下研究問題：
（1）與目前最先進的以CTR/GMV導向的方法和多目標推薦算法相比，該框架的性能如何？
（2）就單一推薦和帕累託邊界而言，提出框架的帕累託效率如何？
（3）從模型選擇的角度來看，提出框架的可伸縮性如何？
爲了回答這些研究問題，我們在一個流行的電商網站上對真實世界的數據集進行了廣泛的實驗，包括在線和離線實驗。
數據集
據我們所知，沒有一個公開的電商數據集包含這些重要的特徵，例如同一時間的價格、標籤的展現、點擊和購買。因此，我們從一個流行的電商平臺收集了一個真實的數據集EC-REC 。由於在線數據量巨大，我們收集了一週的數據，併爲離線實驗採集了超過700萬個展現樣本，數據集將公開，以支持未來的研究。同時，利用PE-LTR爲用戶服務，我們對在線實驗進行了A/B測試。這些特性來自於用戶畫像和item畫像，例如用戶的購買力和item的平均購買次數。
實驗設置
我們進行了離線和在線實驗來驗證所提框架的有效性，並以最先進的方法作爲比較的基準。
6.2.1 基線
我們選擇最新的推薦方法進行比較，基線可以分爲三類：典型方法（CF、LambdaMART）、以GMV導向的方法（LETORIF、MTL-REC）和優化兩個目標的方法（CXR-RL、PO-EA）。
-
ItemCF 基於item的協同過濾。
-
LambdaMART 是最先進的學習排序方法。一個MART模型用於優化NDCG的loss。然而，LambdaMART只關注點擊相關性，而購買不考慮。
-
LETORIF 是最大化GMV的學習排序方法，並採用price*CTR*CVR進行排序，其中CTR和CVR是兩個單獨的模型進行預測。
-
MTL-REC 採用多任務學習技術對CTR和CVR模型進行訓練。兩個模型共享相同的用戶和item嵌入和類似的神經網絡結構。排序模型也是price*CTR*CVR。
-
CXR-RL 是一種最近基於值感知的推薦算法，它同時優化了CTR和CVR。CXR設計爲CTR和CVR的組合。CXR-RL使用強化學習技術來優化CXR，從而實現CTR和CVR之間的平衡。
-
PO-EA 是一種最先進的多目標推薦方法，旨在尋找帕累託有效的解。PO-EA假定不同的基礎算法在目標上具有不同的優勢。它用多個初等算法給出的分數，用演化算法生成權重。基礎算法包括LETORIF-CTR、LETORIF、CXR-RL、PE-LTR-CTR和PE-LTR-GMV。LETORIF-CTR是指LETORIF中的CTR模型。PE-LTR-CTR和PE-LTR-GMV都是PE-LTR模型，在模型中加入邊界約束，對CTR和GMV進行相應的優化。兩個LTR模型被用作基礎算法，以便與PE-LTR進行公平比較。
-
PO-EA-CTR ，PO-EA-GMV 由PO-EA生成的兩個解決方案，分別針對CTR和GMV。
-
PE-LTR-CTR，PE-LTR-GMV 由PE-LTR生成的兩個解決方案，分別針對CTR和GMV。
6.2.2 實驗設置
我們採用了兩種典型的IR測量方法來評估CTR，即NDCG和MAP。同時，我們爲這兩個指標提出了兩種GMV變體：
其中Q®表示item購買集合，pay(i)=0/1表示在第i次rank中item是否被購買，price’(i)表示第i次rank中item的價格，G-IDCG@K表示G-DCG@K中最大的可能值。G-NDCG@K考慮了在排序列表中位置偏差的GMV，偏好高ranking的item被購買，而G-MAP考慮在推薦列表中購買數量。對於用戶沒有購買記錄的，兩個度量指標的值都是0。
離線實驗結果
6.3.1 對比基準線
爲了回答最初的研究問題，我們在表2中對NDCG、MAP和GMV相關度量進行了比較。
PE-LTR是從具有公平邊際效用的帕累託邊界選擇模型，PO-EA是具有在CTR指標方面跟PE-LTR可比的模型。如表所示，PE-LTR在所有GMV相關指標上都優於其他方法，在CTR相關指標上也優於LambdaMART。與Item-CF和LambdaMART相比，PE-LTR可以獲得更高的G-NDCG和G-MAP。這是合理的，因爲PE-LTR聯合優化了GMV和CTR，而GMV在Item-CF和LambdaMART中沒有優化。同時，PE-LTR實現了與LambdaMART相當的NDCG和MAP。在對Web搜索基準中，LambdaMART通常是性能非常好的方法。這說明了我們的框架的有效性，它不僅優化了GMV，而且保證了高CTR。
與LETORIF、MTL-REC、CXR-RL和PO-EA相比，PE-LTR可以實現更高的G-NDCG和G-MAP，並且成本更低。這背後有幾個原因：
-
首先，與LETORIF和MTL-REC相比，PE-LTR使用一個模型來聯合學習兩個目標，這允許模型同時學習點擊和購買；而在LETORIF和MTL-REC中，兩個單獨的模型或組件被設計用於點擊和購買，這可能導致一些不一致性。
-
其次，與CXR-RL和PO-EA相比，PE-LTR以帕累託有效的方式協調兩個目標。CXR-RL優化了兩個目標，但以非帕累託有效的方式。同時，雖然PO-EA試圖用尋找帕累託有效解，但它只能保證最終解是從一系列互不支配的解中選擇出來的。
在圖2中，我們進一步繪製了PO-EA和PE-LTR的NDCG與G-NDCG曲線（由於篇幅限制，我們只在本文的圖中繪製了G-NDCG和NDCG，結果與MAP和G-MAP相似）。如圖表所示，PO-EA所產生的任何解都不受PO-EA中的另一個支配，並且情況與PE-LTR相同。然而，我們觀察到PE-LTR的曲線高於PO-EA的曲線，這意味着PO-EA的解主要是由PE-LTR生成的解。注意兩個PE-LTR算法已經被用作PO-EA的基本組成部分，比較表明，所提出的框架更能生成帕累託有效解。
此外，電商平臺中的真實數據可能不遵循典型的假設。在PE-LTR中，標量權重在每個批次中調整，能夠在訓練過程中動態地調整訓練數據。同時，PO-EA需要幾個經過訓練的算法來聚合，這使得它更難滿足在線學習環境的要求。
我們進一步比較了排名第一的推薦的質量。由於用戶通常更關注排名靠前的item，因此排名靠前的指標在推薦中更爲重要，結果如圖3所示。如圖所示，PE-LTR在GMV相關指標上優於其他基線，且損失CTR較少。這說明了帕累託效率在現實推薦系統中的重要性。單獨優化一個目標可能會嚴重損害其他目標。因此，有必要同時考慮多個目標，帕累託效率推薦使得以較低的損失CTR下實現高GMV成爲可能。
6.3.2 PE-LTR的帕累託效率
爲了回答第二個研究問題，我們首先通過運行算法1生成CTR和GMV損失的帕累託邊界，並在圖2中繪製帕累託邊界。可以看出，在不同的約束條件下，損失基本上遵循帕累託效率，即沒有一個點比其他點同時達到更低的CTR和GMV損失。當模型更關注CTR時，CTR損失較低，GMV損失較高，反之亦然。這與該框架的帕累託有效標量方案相吻合。
然後比較了不同選擇策略下PE-LTR的解。我們預先定義了CTR和GMV的兩組邊界：（ω(ctr)≥0，omega(gmv)≥0.8）和（ω(ctr)≥0.8，omega(gmv)≥0.0），得到了兩個分別聚焦於GMV和CTR的PE-LTR（PE-LTR-GMV和PE-LTR-CTR）。然後從帕累託邊界選擇兩個具有LM公平和MU公平的PE-LTR(PE-LTR-LM和PE-LTR-MU)。我們在圖4中繪製了這些PE-LTR之間的比較。
PE-LTR-CTR和PE-LTR-GMV與被添加到目標的約束性能是一致的。因此，當GMV和CTR的優先級可用時（即GMV或CTR優先），可以通過相應地設置邊界來實現推薦。當優先級不可用時，可以通過從具有最高公平性的帕累託邊界中進行選擇來實現公平解決。儘管所選擇的PE-LTR（PE-LTR-LM和PE-LTR-MU）在所有指標上都不是最好的，但它在兩個目標之間實現了相對良好的權衡。將PE-LTR-LM與PE-LTR-MU進行比較，我們認爲LM和MU公平性選擇的兩個推薦是相對平衡的。在GMV中，PE-LTR-MU優於PE-LTR-LM，而在CTR中，PE-LTR-LM稍好。
6.3.3 PE-LTR的可擴展性
爲了回答第三個研究問題，我們進行了實驗，從模型選擇方面展示了可伸縮性。我們使用LR、DNN和WDL作爲PE-LTR框架中的模型，模型的詳細內容見第5節。我們爲模型設置了相同的邊界，結果如圖5所示。
從結果來看，模型選擇對PE-LTR的性能有重要影響。在三個PE-LTR變體中，PE-LTR-WDL優於其餘的，PE-LTR-DNN優於PE-LTR-LR。這是因爲神經網絡能捕獲比線性模型更復雜的特徵之間的關係。Wide&Deep的模型將神經網絡和線性模型結合到一個模型中，使推薦更好地泛化和記憶。因此，PE-LTR能夠適應不同的模型，更強的模型可以帶來更好的性能。這也說明了PE-LTR的潛力，其性能可以通過更精心設計的模型進一步提高。
在線實驗結果
我們在真實的電商平臺上進行了3天在線實驗。在線實驗中，僅考慮CTR的方法會嚴重傷害GMV。因此，只考慮CTR的方法不包括在在線實驗中。
在線實驗中我們關注四個度量指標，即CTR（點擊率）、IPV（單個頁面查看）、PAY（購買量）和GMV（成交總額）。我們計算了三天的平均性能，結果見表3。由於用戶數量衆多，結果具有統計上的顯著性。我們使用LETORIF作爲基線，並在表中給出比較方法在LETORIF上的提升。
從結果觀察到，我們的方法在四個度量上優於其他基線。這與離線實驗的結果基本吻合。請注意，PE-LTR在較高的CTR下實現了GMV的顯著提升，這說明帕累託有效推薦的優勢。同時，PO-EA要求離線模型來聚合需要，不能在線學習權重，使實驗效果不好。
結論
本文研究的是推薦中多目標優化的問題。我們提出了一個通用的算法框架，在理論保證下生成帕累託有效解。同時，我們提出了一個保證帕累託有效性的理論條件和一個兩步算法，它可以進一步適應目標約束。我們將該框架應用在電商推薦上同時優化GMV和CTR，並在一個真實的電商推薦系統上進行了大量的實驗，實驗結果驗證了該框架的有效性。同時，該框架不依賴於模型和目標，顯示了強大的可伸縮性。
論文原文鏈接：