人工智能技術在電商領域，有着豐富的應用場景。應用場景是數據入口，數據通過技術得到提煉，反過來又作用於技術，二者相輔相成。京東基於自然語言理解與知識圖譜技術，開發了商品營銷內容 AI 寫作服務。並將此項技術應用到了京東商城【發現好貨】頻道中。本文將介紹一種電商商品的多模態摘要模型，詳解一個賣點突出、流暢和簡潔的商品文本摘要是怎樣生成的。
與傳統的文本摘要任務相比，商品摘要任務更具挑戰性。一方面，商品給顧客的第一印象來自該商品的外觀，這對顧客的購買決策有着至關重要的影響。因此，商品摘要系統必須能夠充分挖掘商品視覺信息，反映商品的外觀特色。另一方面，不同的產品有不同的賣點。例如，緊湊型冰箱的優點是節省空間，而環保型冰箱的優點是節能。因此，商品摘要應該反映商品最獨特的方面，從而最大限度地促成消費者的購買。
本文接下來將介紹由京東 AI 研究院提出的 一種電商商品的多模態摘要模型，該模型可以有效地整合商品的視覺和文本信息來生成一個賣點突出、流暢和簡潔的商品文本摘要。
論文的標題爲 ：Aspect-Aware Multimodal Summarization for Chinese E-Commerce Products ，發表於 AAAI 2020。
論文鏈接：
http://box.jd.com/sharedInfo/2926429040ECC7D3
多模態摘要模型
如下圖 1 所示，商品廣告含有大量的文字介紹，顧客很難在短時間內在這些廣告中獲取有價值的商品信息，尤其是當顧客想要比較多個商品時，將會耗費大量的時間，影響了購物體驗。商品摘要模型可以爲商品生成文本摘要，爲潛在消費者提供了短時間內瞭解商品的便利。從消費者決策的角度出發，一個好的商品摘要需要反映商品的外觀特色和賣點信息，這也是本文提出的商品摘要模型的出發點。
論文提出了一種基於商品要素的多模態商品摘要方法，如圖 1 所示，該模型將商品圖像、產品標題和其他產品描述作爲輸入，生成商品文本摘要。該模型不僅可以有效地整合商品的視覺和文本信息，而且從商品要素出發，使生成的商品摘要儘可能的包含商品的特色要素，並提高商品摘要的流暢性和簡潔性。
論文中構建了一箇中文商品摘要數據集，該數據集包含約 140 萬個“商品 - 摘要”對，涵蓋家電、服飾和箱包品類。在該數據集上的實驗結果表明，文中提出的模型在自動評價和人工評價指標上都顯著優於其他對比方法。
模型介紹
如圖 2 所示，論文中提出的商品摘要模型基於指針 - 生成器網絡（Pointer-Generator）。採用了三種策略將商品圖像信息融入模型中，包括使用商品圖片的全局特徵初始化編碼器，使用商品圖片的全局特徵初始化解碼器，以及使用商品圖片的局部特徵，通過注意力機制生成圖片上下文向量參與解碼。
首先，對商品要素進行建模（所謂的商品要素，就是商品不同方面的屬性。例如：對洗衣機而言，商品要素包括容量和能耗等），然後從商品的要素出發，對摘要的重要性、非冗餘性和可讀性進行建模。
(1) 採用基於商品要素的 RAML（reward augmented maximum likelihood）訓練，鼓勵模型生成的摘要涵蓋商品的特色要素。如圖 2（b）所示，該商品 ground-truth 特色要素是容量、操控與電機，則該模型將會鼓勵生成描述容量、操控與電機相關的文本；
(2) 採用基於商品要素的覆蓋度機制消除冗餘信息。傳統覆蓋度機制僅能在詞維度進行去冗餘，難以處理相關詞冗餘問題。如圖 2（c）所示，“noise”、“quiet”和“tranquil”均在描述“運行聲音”這一商品要素，如果僅對“noise”進行去冗餘，難以保證“quiet”和“tranquil”不出現摘要中。本文提出的模型通過商品要素維度的去冗餘，可以避免“noise”、“quiet”和“tranquil”同時出現在摘要中；
(3) 通過商品要素放回跳機制提高摘要的可讀性。如圖 2（d）所示，商品要素的回跳描述降低了商品摘要的連貫性，影響了消費者的閱讀體驗。本文提出的模型通過解碼時禁用回跳要素詞，有效地避免了這一現象。
實驗結果
如表 1 所示。本篇論文的基線系統，PG 模型的性能優於其他基於純文本的模型，這表明複製機制在商品摘要任務中是必不可少的。事實上，商品詳細介紹文本中含有大量商家或平臺精心設計的文案，從其中直接複製賣點文本構成摘要是非常合理的。本文提出的帶有的多模態商品摘要模型，MMPG 模型取得了比所有基於純文本的模型更好的結果，這證明了商品視覺信息和商品要素信息在商品摘要任務中起着重要的作用。
總結
論文提出了一個多模態商品摘要模型，其可以利用商品圖像、標題和其他文本介紹，爲商品生成摘要。文中提出的模型可以有效地利用商品的視覺信息，並反映商品的特色要素，從重要性、非冗餘性和可讀性的角度對商品要素進行了有效的建模。
對於電商而言，海量商品的營銷內容在由達人供稿的過程中，受限於達人寫作的效率限制，商品更新速度明顯高於營銷內容上線速度，導致內容短缺。
AI生成內容在生成效率、曝光點擊率、訂單轉化率等方面其實都表現出了優於人工創作營銷的內容。該方法正在應用於垂直電商、綜合電商、社交電商、新媒體平臺等衆多場景。
如果想了解更多相關內容，可以關注京東智聯雲開發者公衆號（ID：JDC_Developers）。
作者介紹：
京東AI研究院專注於持續性的算法創新，多數研究將由京東實際的業務場景需求爲驅動。研究院的聚焦領域爲：計算機視覺、自然語言理解、對話、語音、語義、機器學習等實驗室，已逐步在北京、南京、成都、硅谷等全球各地設立職場。