Cost-Effective and Stable Policy Optimization Algorithm for Uplift Modeling with Multiple Treatments
The 2020 SIAM International Conference on Data Mining
Abstract
uplift模型是一種 causal-based personalization 的方法，目標是優化treatment，在醫學和市場營銷等不同領域都很有應用前景。然而，應用uplift模型也面臨着挑戰，例如二元 treatment 的侷限性和很難驗證。Contextual Treatment Selection（CTS）是爲了克服二元treatment的侷限性而提出的，並顯示了state-of-the-art 的結果。然而，之前的實驗表明，由於CTS需要大量的訓練數據，所以它是成本低效的。本文證明了CTS中最大化的估計量是有偏估計。然後，本文提出了一種基於doubly robust estimation technique的variance reduced estimator，它提供了無偏性和期望方差。本文進一步提出了一種treatment策略優化算法，稱爲VAriance Reduced Treatment Selection（VARTS）。對合成數據集和真實數據集的經驗實驗表明，本文的方法優於其他現有方法，特別是在小樣本量和高噪聲水平等現實條件下。這些理論和實證結果表明，我們的方法能夠克服uplift建模的關鍵挑戰，應該成爲各個領域個性化優化的首選。
1 Introduction
在各種現實問題中，選擇收益（profit of interest）最大化的 treatment 是非常重要的。例如，廣告公司需要向每個用戶發送最合適的