近年來，BERT等Transformer模型大放異彩，在搜索推薦系統應用也成爲業界的一種潮流。美美今天介紹的這篇文章，將分享Transformer在美團搜索排序上的實踐經驗。
引言
美團搜索是美團 App 連接用戶與商家的一種重要方式，而排序策略則是搜索鏈路的關鍵環節，對搜索展示效果起着至關重要的效果。目前，美團的搜索排序流程爲多層排序，分別是粗排、精排、異構排序等，多層排序的流程主要是爲了平衡效果和性能。搜索核心精排策略是 DNN 模型，美團搜索始終貼近業務，並且結合先進技術，從特徵、模型結構、優化目標角度對排序效果進行了全面的優化。
近些年，基於 Transformer[1] 的一些 NLP 模型大放光彩，比如 BERT[2] 等等（可參考《美團BERT的探索和實踐》），將 Transformer 結構應用於搜索推薦系統也成爲業界的一個潮流。比如應用於對 CTR 預估模型進行特徵組合的 AutoInt[3]、行爲序列建模的 BST[4] 以及重排序模型 PRM[5]，這些工作都證明了 Transformer 引入搜索推薦領域能取得不錯的效果，所以美團搜索核心排序也在 Transformer 上進行了相關的探索。
本文旨在分享 Transformer 在美團搜索排序上的實踐經驗。內容會分爲以下三個部分：第一部分對 Transformer 進行簡單介紹，第二部分會介紹 Transfomer 在美團搜索排序上的應用以及實踐經驗，最後一部分是總結與展望。希望能對大家有所幫助和啓發。
Transformer 簡介