Google2017的Deep&Cross Network

Deep & Cross Network總結

在工業界的實踐效果不如Wide&Deep和DeepFM那麼好；（和WDL的效果基本持平）

 

揭祕 Deep & Cross : 如何自動構造高階交叉特徵

Google 對 Wide & Deep的一個後續研究；將Wide部分替換爲由特殊網絡結構實現的Cross，自動構造有限高階的交叉特徵，並學習對應權重，告別了繁瑣的人工叉乘。（FM僅限於二階叉乘）

Cross網絡的網絡參數很少，同等量的參數下DCN的效果更好；

文中對原始特徵做如下處理：1) 對sparse特徵進行embedding，對於multi-hot的sparse特徵，embedding之後再做一個簡單的average pooling；2) 對dense特徵歸一化，然後和embedding特徵拼接，作爲隨後Cross層與Deep層的共同輸入。

1) 每層的輸入輸出維度都是相等的；

2) 受殘差網絡（Residual Network）結構啓發，每層的FeatureCrossing擬合的是Output-Input殘差；殘差網絡可以處理梯度消失的問題，使網絡可以“更深”.

例子：假設輸入特徵x0只有2維，Cross有2層

可以看到  包含了原始特徵  從一階到二階的所有可能叉乘組合，而  包含了其從一階到三階的所有可能叉乘組合

可以看到x1包含了原始特徵 x0從一階到二階的所有可能叉乘組合，而 x2包含了其從一階到三階的所有可能叉乘組合。