因果推斷在阿里文娛用戶增長中的應用

導讀:如何實現產品的用戶增長?顯然,這是各家移動互聯網應用的頭等大事,也是懸在各家業務負責人頭上的"天問"。在移動互聯網進入下半場的大趨勢下,過去粗放式的買量、廠商合作等模式越來越會受到掣肘,將更加依賴精細化的用戶增長策略和產品用戶體驗的細緻打磨;經典的 AARRR 模式會逐步轉向 RARRA 模式,提升產品留存、拉活、分享傳播等方式是構建增長的主要戰場。而在此之中,對於一個內容型產品,個性化算法對於用戶留存、拉活將起到決定性的作用。

考察與優酷類似的應用,在內容領域,增長的成功案例有:

  • "頭條快手"模式:內容分發類產品,代表是"今日頭條"、"抖音"、"快手"等。這類產品構建了完善的內容生產和消費生態,旨在通過推薦系統同時刺激生產和消費,實現兩端的同時增長。

  • "趣頭條"模式:該產品同屬內容分發類產品,但較早地參考了網絡遊戲模式,從各個環節設計用戶里程碑和激勵,不斷引導新用戶一步步完成點擊、下刷、完整閱讀、分享、關注等目標里程碑,並給予虛擬貨幣和真實貨幣的激勵,在短時間內獲取了大量下沉用戶。

  • "愛奇藝"、"騰訊視頻"模式:這類產品利用大量資金和精準的內容採買眼光,利用頭部內容的流量聚集效應,在前幾年迅速圈定大批用戶,並形成長視頻 app 特有用戶心智。由於內容頭部化,個性化算法在其中發揮的空間和作用較小,產品、模式趨於同質化,內容採買的巨大資金投入使得長視頻網站的盈利遙遙無期。

會員增長是長視頻產品體系下用戶增長的特有子問題。優酷作爲國內頂尖的視頻內容提供商,上述三種增長模式都是需要進行借鑑的。用戶增長問題需要從內容供給、內容分發、權益設計、產品設計等多環節進行聯合優化,從算法的角度,其目標可以拆解爲兩大部分:

  • 用戶狀態建模:深度建模用戶狀態和行爲,從大數據集中找到使用戶從低階狀態到高階狀態轉化的干預因子。

  • 個性化分發的升級:將用戶行爲建模後,在多個場景將這些干預動作落地爲個性化推薦算法和營銷算法,滿足用戶的視頻內容消費需求。

阿里大文娛是阿里集團雙 H 戰略 ( Happiness & Health ) 中最爲重要的踐行者,在不斷爲廣大網民提供優質內容與良好體驗的同時,我們也面臨着用戶規模化增長以及營收有計劃提升的壓力。我們已經逐步形成以消息推送 ( push )、站外引導 ( dsp ) 以及新用戶承接推薦等場景組成的用 戶增長業務體系,也已經逐步形成了以權益發放 ( 營銷 ) 以及商業化 ( 廣告 ) 等抓手組成的收入增長業務體系。基於因果推斷的推薦算法、基於雙 pid 的動態報價算法以及基於 uplift model 的營銷增益模型正是應用在這兩大業務體系中的,我們已經在多個業務場景中取得了較爲顯著的效果提升,我們相信其中的一些技術必將對整個互聯網業內在增長算法體系帶來一些嶄新的視角、思考和實踐經驗。本文將主要爲大家介紹基於因果推斷的推薦算法。

01

用戶增長和智能營銷算法的目標

剛剛已經介紹了優酷用戶增長的業務打法和構思,其中已經提到,個性化的分發算法是實現用戶增長的主戰場。其中有兩大目標:

  • 目標1:用戶狀態建模。深度建模用戶狀態和行爲,從大數據集中找到使用戶從低階狀態到高階狀態轉化的干預因子。

  • 目標2:個性化算法的升級。將用戶行爲建模後,在多個場景將這些干預動作落地爲個性化推薦算法和營銷算法,滿足和刺激用戶的視頻內容消費需求。

針對目標1,傳統數據分析主要是建模變量之間的相關性而非因果關係,不能從真正的因果關係來設計干預手段。

針對目標2,傳統的推薦算法主要進行短期的點擊、時長等多目標預估,未能從用戶狀態的躍遷去設計個性化的目標機制;其次目前大量應用的深度學習類算法同樣屬於統計學習派別的延展,其模型可解釋性差,不能從中推斷用戶興趣與內容的因果關係,而該類技術方向的演化會導致用戶畫像的算法較爲單薄,不能滿足優酷會員營銷核心業務的需求。

基於因果推斷的推薦算法我們已經成功應用在消息推送 ( push ) 以及 dsp 外投買量算法等業務中,而在營銷場景中應用的 uplift 模型本質上也是因果推斷思想的一個典型應用。因此,我們在整個用戶增長以及智能營銷的業務場景中逐步推廣地應用了因果推斷的思想,在某些實驗中取得了非常好的業務結果,比如我們在 push 和 dsp 業務中的沉默用戶召回這個場景下就取得了點擊量和點擊率的顯著提升。

02

用戶狀態表示

1. 用戶畫像與狀態表示法

傳統的用戶畫像表示技術要麼服務於運營可解釋性,要麼服務於推薦或廣告系統的模型預估,通常建模成向量 ( 離散高維或低維稠密 )。而我們在深入研究在線視頻和付費會員業務後,發現狀態轉移圖是更有力地建模該業務下用戶畫像的數據結構,原因如下:

  • 用戶從非會員到購買會員並逐步進入高階會員的階段,本質屬於一種強規則定義的狀態。

  • 在線視頻,尤其是長視頻領域具備長時間、連續型消費 ( 追劇、追網紅 ) 等特點,對比傳統的圖文推薦系統、電商推薦系統和廣告系統,用戶的消費行爲可以在連續的時間上進行切分,狀態表示法是對向量表示法的有力補充。

  • 新用戶的承接和推薦策略是用戶增長中"促留存",建立心智的重要階段。借鑑網絡遊戲和趣頭條的思路,將難度較大的"促留存"問題拆分爲"目標達成"問題,產品通過策略不斷使得用戶完成高階里程碑,是業內目前已證明成功的用戶增長方法。

序中已經提到,會員模式是長視頻業務的核心付費模式,在用戶的整個生命週期內,其大體的會員狀態轉移圖如下:

Figure 1:會員轉化狀態

新用戶階段是產品對用戶建立信任感的最重要時期,新用戶在優酷 app 中的里程碑可以大致描述如下:

Figure 2:新用戶狀態里程碑

可以看到,用戶在不同的狀態下,我們期望他們能完成狀態的"躍遷",也就是從低階狀態不斷往高階狀態:"持續消費","訂閱/關注","追劇","會員穩定期"等轉化。

可以預見的是,這種用戶畫像的表示方法,將會對業內長久以來已經趨於成熟的個性化推薦算法步向新的發展階段:即爲用戶增長這個核心業務問題更好的服務。首先是多目標的排序機制,對於在不同狀態下的用戶,個性化算法的機制目標會不同 ( 躍遷至目標態 );其次啓發我們從更前沿的算法高度來研究狀態躍遷的干預手段問題,進而解決推薦系統中長期難解的"可解釋性"、"倖存者偏差"、"興趣探索"等問題。

針對干預手段的研究,在2019年用戶增長 & 智能營銷團隊組建之後,對因果推斷 ( Causal Inference ) 算法率先進行了研究和落地,目前在個性化推送、外投 DSP 應用了基於 matching 的無偏 user-cf 算法,智能紅包發放場景應用了 uplift model,取得了顯著的核心業務指標提升,並得到了業務方和兄弟團隊的一致認可。現將無偏 user-cf 算法介紹如下,uplift model 可參考文末推薦文章。

03

基於因果推斷的無偏 user-cf 設計

1. 因果推斷 ( Causal Inference ) 簡介

因果推斷 ( Causal Inference ) 作爲新興的人工智能技術方向,旨在突破傳統數據分析和機器學習方法的瓶頸,建模大規模數據集中的因果關係,爲干預手段的設計提供指導,爲構建下一代面向用戶增長的全域分發系統提供理論基石。

因果推斷的核心研究課題:

  • 從衆多觀測到/未觀測到的變量中找出致因 ( causes )

  • 預估某個行爲/因素的影響力/效益 ( causal effect )

對於個體,來說,核心是尋找反事實 ( counterfactual ) 鏡像。在個性化推薦中,一個難題就是消除"倖存者"偏差,即如何將低活用戶通過良好的路徑推薦,逐步變成產品的高活用戶。我們定義問題如下:

2. 目標

消去推薦系統的偏差。用戶增長需要消去高活用戶帶來的行爲偏置,提升低活用戶推薦效果。

3. 假設

用戶變成低活、沉默的原因主要是因爲對之前推薦不滿意 ( 負例 )。

4. 方法

① 構建 Counterfactual 鏡像人:

利用無偏信息構造相似度量,構造低活 user 到高活 user 的 matching:

  • 基礎人口屬性、安裝的長尾 app 信息等

  • 主動搜索行爲 ( 非被動推薦 ),尤其是長尾 query

② 去除低活用戶的 leave causes,推薦相似高活用戶的 stay causes。對於推薦系統來說,這些 causes 包括:

  • item 本身:但缺少泛化容易推出老內容

  • item 的泛化特徵:標籤、時效性、質量

Figure 3:無偏 usercf 設計

注意,由於使用了 matching 方法,這裏的算法非常類似傳統的 user-cf 類算法,但是和傳統 user-cf 核心的區別在於:

  • matching 不使被動推薦數據,個性化推送、站內推薦、運營推薦的內容都不使用。

  • 只匹配低活到高活,活躍度相同的用戶之間不進行匹配。

5. 業務收益

該算法落地後,在兩個 baseline 相對較高的算法場景中取得了較大的收益:其中個性化推送 ( push ),在沉默用戶中獲得了 50%+ ctr 和 50%+ click 的雙增長,在外投 dsp 業務中,拉活量對比峯值接近翻倍。

04

總結與展望

目前算法的應用,只是對應了兩個用戶狀態 ( 低活->高活 ) 之間的推斷,如 Figure 1 和 Figure 2 所描述的,用戶增長的目標是將細分的低階狀態往高階目標態上進行躍遷,那麼該類算法很顯然將會在數據分析、產品設計、分發優化等各個環節發揮巨大作用。整個2019年團隊的實踐雖然取得了很大的業務效果,但只是對該算法方向相對較淺顯的應用,且對於優酷整體的增長問題來說,應用的場景還不夠多,未來期望在其基礎理論和實踐都投入更多的資源。

可以預見的是:對於整個業內用戶增長的方法論,該方法在未來必將成爲核心的理論基石。對於個性化推薦這一經典領域,該方法爲解決經典難題"倖存者偏差","可解釋性","用戶表示","興趣探索"等提供了漂亮的解法。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章