原创 深度學習網絡調參技巧

介紹 之前曾經寫過一篇文章,講了一些深度學習訓練的技巧,其中包含了部分調參心得:深度學習訓練心得[1]。不過由於一般深度學習實驗,相比普通機器學習任務,時間較長,因此調參技巧就顯得尤爲重要。同時個人實踐中,又有一些新的調參心得,因此這裏單獨

原创 如何實現支持多值、稀疏、共享權重的DeepFM

緣起 DeepFM不算什麼新技術了,用TensorFlow實現DeepFM也有開源實現,那我爲什麼要炒這個冷飯,重複造輪子? 用Google搜索“TensorFlow+DeepFM”,一般都能搜索到 “tensorflow-DeepFM”

原创 谷歌大規模多目標排序實踐:Youtube視頻推薦核心技術

本文主要介紹下Google在RecSys 2019上的最新論文[1],提出了一套大規模多目標排序框架應用於Youtube視頻推薦,引入MMoE解決多目標學習,以及解決用戶隱式反饋中的selection Bias問題。 介紹 本文提出了

原创 今日頭條最新論文,首次改進DQN網絡解決推薦中的在線廣告投放問題

今年阿里媽媽在KDD 2019上組織了第一屆面向高維稀疏數據的深度學習實踐Workshop(官網:https://dlp-kdd.github.io),看這個名字就知道極具推薦、廣告領域工業界的大規模深度學習色彩。雖然這次收錄的論文主要是來

原创 從3/4層拓展到56層,如何訓練超級深層的圖卷積神經網絡?

本文來自“深度推薦系統”專欄,這個系列將介紹在深度學習的強力驅動下,給推薦系統工業界所帶來的最前沿的變化。本文主要介紹一篇ICCV 2019 Oral上的論文[1],在 CNN 結構的啓發下成功將 GCN 的可訓練深度從 3/4 層拓展到

原创 今日頭條推出強化學習新成果:首次改進DQN網絡,解決推薦中的在線廣告投放問題

本文來自“深度推薦系統”專欄,這個系列將介紹在深度學習的強力驅動下,給推薦系統工業界所帶來的最前沿的變化。本文主要介紹今日頭條推出的強化學習應用在推薦的最新論文[1],首次改進DQN網絡以解決推薦中的在線廣告投放問題。 背景介紹 隨着最

原创 深度推薦系統領域近三年最值得關注的18篇論文

本文來自“深度推薦系統”專欄,這個系列將介紹在深度學習的強力驅動下,給推薦系統工業界所帶來的最前沿的變化。本文主要根據RecSys 2019中論文《Are We Really Making Much Progress? A Worryin

原创 五大人工智能頂會2019必讀的深度推薦系統相關的論文

本文來自“深度推薦系統”專欄,這個系列將介紹在深度學習的強力驅動下,給推薦系統工業界所帶來的最前沿的變化。本文主要總結一下深度推薦系統相關的幾大頂會(包含ICML2019/ KDD2019/ IJCAI2019/ WWW2019)必讀的幾

原创 一文看懂GAN演進圖譜

本文來自“深度推薦系統”專欄,這個系列將介紹在深度學習的強力驅動下,給推薦系統工業界所帶來的最前沿的變化。本文着重於串講GAN模型框架的演進圖譜。 之前在總結一文看懂AutoEncoder模型演進圖譜時就有涉及到GAN。GAN作爲近幾年

原创 一文看懂AutoEncoder模型演進圖譜

本文來自“深度推薦系統”專欄,這個系列將介紹在深度學習的強力驅動下,給推薦系統工業界所帶來的最前沿的變化。本文則結合作者在工作中的經驗總結,着重於串講AutoEncoder模型框架的演進圖譜。 AutoEncoder作爲NN裏的一類模型

原创 鳥槍換炮,如何在推薦中發揮AI Lab開源中文詞向量的威力?

本文來自“深度推薦系統”專欄,這個系列將介紹在深度學習的強力驅動下,給推薦系統工業界所帶來的最前沿的變化。本文則結合作者在工作中的經驗總結,着重於介紹在推薦系統中如何使用騰訊AI Lab開源的中文詞向量。 近年來,深度學習技術在自然語言

原创 推薦召回算法之深度召回模型串講

導讀:本文來自“深度推薦系統”專欄,這個系列將介紹在深度學習的強力驅動下,給推薦系統工業界所帶來的最前沿的變化。本文將結合作者在工作中的經驗總結,着重於串講推薦召回層的模型變化。 推薦系統的基本架構並不複雜,一般由索引、召回、粗排、精排

原创 深度推薦系統與CTR預估2019年上半年值得精讀的論文

本文來自“深度推薦系統”專欄,這個系列將介紹在深度學習的強力驅動下,給推薦系統工業界所帶來的最前沿的變化。本文主要總結一下深度推薦系統與CTR預估2019年值得精讀的論文。 微博上近日流傳一個段子,“2020年曾是各大科幻片中遙遠的未來

原创 Youtube推薦已經上線RL了,強化學習在推薦廣告工業界大規模應用還遠嗎?

本文來自“深度推薦系統”專欄,這個系列將介紹在深度學習的強力驅動下,給推薦系統工業界所帶來的最前沿的變化。本文主要根據幾大頂會2019的最新論文,總結一下深度強化學習給推薦系統以及CTR預估工業界帶來的最新進展。 凡是Google出品,

原创 Google首次引入自動網絡設計,高效解決大規模深度推薦模型的特徵嵌入問題

本文來自“深度推薦系統”專欄,這個系列將介紹在深度學習的強力驅動下,給推薦系統工業界所帶來的最前沿的變化。本文主要介紹Google在大規模深度推薦模型上關於特徵嵌入的最新論文。 一、背景 大部分的深度學習模型主要包含如下的兩大模塊:輸入