今年阿里媽媽在KDD 2019上組織了第一屆面向高維稀疏數據的深度學習實踐Workshop（官網：https://dlp-kdd.github.io），看這個名字就知道極具推薦、廣告領域工業界的大規模深度學習色彩。雖然這次收錄的論文主要是來自阿里巴巴和中國高校，但畢竟是基於工業界大規模實際場景需求出發組織的研討會還是可以多多見識下大家討論的一些topic和idea。也藉此祝願這樣的研討會舉辦得更多一些，越來越有含金量越來越有影響力。
User Behavior Understanding
1. (Best Paper Award) An End-to-End Neighborhood-based Interaction Model for Knowledge-enhanced Recommendation
作者：Yanru Qu, Ting Bai, Weinan Zhang, Jianyun Nie and Jian Tang；
論文：t.cn/AiQwCNck；代碼：t.cn/AiQgYOrI；
提出KNI模型引入KG以及GNN更好地學習用戶-item之間複雜的結構交互模式，解決CTR預估中數據稀疏與冷啓動問題，效果好於WDL和DKN等。並開源了代碼。
2. Collaborative Filtering via Learning Characteristics of Neighborhood based on Convolutional Neural Networks
作者：Yugang Jia, Xin Wang, Jinting Zhang
藉助CNN抽取臨近item的特徵，更好地學習用戶-item之間的隱式關係來提升CF類算法的準確性。效果好於NCF等。
3. Attention-based Mixture Density Recurrent Networks for History-based Recommendation
作者：Tian Wang, Kyunghyun Cho and Musen Wen
提出引入注意力機制的RNN網絡來建模基於向量表示的用戶歷史，動態預測用戶的點擊、購買行爲等。效果主要和經典的ICF、IMF等在兩大公開數據集上進行了對比有明顯提升。
4. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba
作者：Qiwei Chen, Huan Zhao, Wei Li, Pipei Huang and Wenwu Ou
將Transformer的自注意力結構引入推薦系統中典型的MLP+embedding網絡結構中，在淘寶線上CTR預估任務中效果好於WDL和DIN等。
5. Click-Through Rate Prediction with the User Memory Network
作者：Wentao Ouyang, Xiuwu Zhang, Shukui Ren, Li Li, Zhaojie Liu and Yanlong Du
論文：t.cn/AiW9R5PL；代碼：t.cn/AiW9R5Pq；
提出MA-DNN（Memory Augmented DNN）綜合考慮CTR預估工業界性能與效率的折中，既像DNN簡單，又能像RNN針對用戶複雜歷史行爲進行建模。主要是爲每個用戶新增了兩個記憶向量來對用戶喜歡和不喜歡的概率進行建模，效果好於WDL並開源了代碼。
6. A unified Neural Network Approach to e-Commerce Relevance Learning
作者：Yunjiang Jiang, Yue Shang, Rui Li, Wen-Yun Yang, Guoyu Tang, Chaoyi Ma, Yun Xiao and Eric Zhao
來自京東的研究者們提出一種普適的前向網絡框架預測query和item的相關性，同時引進了多項優化手段Siamese pairwise框架、隨機負樣本Batch訓練以及pointwise調優等，效果好於DSSM和GBDT等。
Representation Learning for High-dimensional Sparse Data
7. Pairwise Multi-Layer Nets for Learning Distributed Representation of Multi-field Categorical Data
作者：Ying Wen, Tianyao Chen, Jun Wang and Weinan Zhang
論文：t.cn/Ai8htYEM；代碼：t.cn/Ai8h3mWq；
提出一種基於Pairwise多層網絡來學習多值類別特徵的表示方法。針對每一個類別特徵的每一個離散field都學習一個低維向量，然後依靠網絡門學習特徵內和特徵間的交互。在CTR預估任務中，效果好於FNN和PNN等。
8. Learning over Categorical Data using Counting Features
作者：Xuyang Wu, Xinyang Gao, Weinan Zhang, Rui Luo and Jun Wang
針對目前多值類別特徵的one-hot編碼的諸多問題提出一種新穎的counting features方式，在CTR預估任務中具有更好的泛化能力。
9. Learning Job Representation Using Directed Graph Embedding
作者：Haiyan Luo, Yu Sun, Anand Joseph Bernard Selvaraj and Shichuan Ma
提出仿照經典的Graph Embedding方式從用戶的job轉換歷史構圖學習job的的Embedding表示，效果好於skip-gram等。
Embedding techniques
10. Res-embedding for Deep Learning Based Click-Through Rate Prediction Modeling
作者：Guorui Zhou, Kailun Wu, Weijie Bian, Xiaoqiang Zhu and Kun Gai
針對CTR預估任務中經典的Embedding&MLP結構中Embedding表示學習泛化能力差的問題提出了一種叫做res-embedding的方式。由兩部分構成：一部分是基於item的興趣圖學習的central embedding；另一部分是相對小維度的residual embedding。
11. SuperChat: Dialogue Generation by Transfer Learning from Vision to Language using Two-dimensional Word Embedding
作者：Baohua Sun, Lin Yang, Michael Lin, Charles Young, Jason Dong, Wenhan Zhang and Patrick Dong
藉助文本分類中Super Characters的兩維embedding方式，應用在會話生成當中。
Auto feature selection
12. Automatic Feature Engineering From Very High Dimensional Event Logs Using Deep Neural Networks
作者：Kai Hu, Joey Wang, Yong Liu and Datong Chen
提出Midway NN網絡針對高維事件日誌進行自動特徵工程。MNN將特定窗口的輸入特徵向量轉換爲稠密的中間特徵表示並進行緩存，供增量學習和預測。實驗證明可以減少人工參與，以及節省訓練和預測的耗時。
Scalable, Distributed and Parallel Training System for Deep Learning
13. XDL: An Industrial Deep Learning Framework for High-dimensional Sparse Data
作者：Biye Jiang, Chao Deng, Huimin Yi, Zelin Hu, Guorui Zhou, Buting Ma, Yang Zheng, Sui Huang, Xinyang Guo, Dongyue Wang, Yue Song, Liqin Zhao, Zhi Wang, Peng Sun, Yu Zhang, Di Zhang, Jinhui Li, Jian Xu, Xiaoqiang Zhu and Kun Gai
阿里媽媽自研的面向推薦、廣告領域高維稀疏數據的深度學習框架XDL。
Anomaly detection
14. An Adaptive Approach for Anomaly Detector Selection and Fine-tuning in Time Series
作者：Hui Ye, Xiaopeng Ma, Qingfeng Pan, Huaqiang Fang, Hang Xiang and Tongzhen Shao
15. AMAD: Adversarial Multiscale Anomaly Detection on High-Dimensional and Time-Evolving Categorical Data
作者：Zheng G, Zheng Gao, Lin Guo, Chi Ma, Xiao Ma, Kai Sun, Hang Xiang, Xiaoqiang Zhu, Hongsong Li and Xiaozhong Liu
參考
- The 1st International Workshop on Deep Learning Practice for High-Dimensional Sparse Data with KDD 2019 (DLP-KDD 2019）
本文轉載自公衆號深度傳送門（ID：deep_deliver）。
原文鏈接：