目錄
- 引言
- [1] 基於感知和認知系統的邏輯關係推理
- 作者介紹
- 分享內容
- system1 和 syetem2 reasoning
- GMNN: Graph Markov Neural Networks (ICML2019)
- Probabilistic Logic Neural Networks for Reasoning (NeurIPS2019)
- 總結
- [2] 圖神經網絡在信息檢索等領域的應用
- 作者介紹
- 分享內容
- 數據:結構化、半結構化
- Free-Text Knowledge Graph (WebConf2020)
- Transformer-XH: Modeling Semi-structured Information with eXtra-Hop Attentions (ICLR2020)
- 總結
- [3] 圖神經網絡在推薦系統的前沿研究
- [4] 圖神經網絡的表達能力
- [5] 構建高效易用的深圖學習引擎
引言
聽這個講座的時候,怕沒聽懂,錄了屏,並進行了整理。不過由於軟件故障,何向南老師的內容有三處沒錄上,斷開了,每段缺失1-2分鐘,不影響整體觀感。
鏈接:https://pan.baidu.com/s/1QU-3yEcTL2oFkGNJMxLImg
提取碼:0pzm
如有侵權,請聯繫我刪除。
[1] 基於感知和認知系統的邏輯關係推理
作者介紹
唐建 Mila和HEC Montreal的助理教授
個人主頁
分享內容
system1 和 syetem2 reasoning
放一張ppt。
- system1 reasoning適用於快速思考、system2 reasoning適用於緩慢思考
- 當前的深度學習普遍處於system1,正在向system2邁進。
- system1是直覺系統,主要負責快速、無意識、非語言的認知,這是目前深度學習主要做的事情;
- system2是邏輯分析系統,是有意識的、帶邏輯、規劃、推理以及可以語言表達的系統。這是未來深度學習需要着重考慮的。
再放一張ppt
GMNN: Graph Markov Neural Networks (ICML2019)
motivation:
contribution:
system1 or system2:
- 半監督+EM算法
- system1 和 system2 結合
Probabilistic Logic Neural Networks for Reasoning (NeurIPS2019)
motivation:
method:
system1 or system2:
總結
唐建老師分享的內容圍繞着system1和system2進行展開,現有的DL方法正在由system1逐步邁向system2,唐老師的幾篇文章都是講system1和system2的優勢相結合,這顯然會比單純的system1方法結果要好。[2] 圖神經網絡在信息檢索等領域的應用
作者介紹
熊辰炎 微軟研究院高級研究員
個人主頁
分享內容
說實話,這部分內容我都沒太聽懂。。。
數據:結構化、半結構化
結構化數據的優劣:
使用的數據大多是半結構化的。
Free-Text Knowledge Graph (WebConf2020)
motivation:
Transformer-XH: Modeling Semi-structured Information with eXtra-Hop Attentions (ICLR2020)
用transformer去model半結構化的數據。
總結
講的主要內容都是基於半結構化數據,而且較爲偏向NLP領域,我沒太聽懂,收穫是:工業上可能有些時候無法去進行昂貴的數據標註,只能使用半結構化的數據,所以這類方法可能更具有現實意義?
[3] 圖神經網絡在推薦系統的前沿研究
作者介紹
何向南 中國科學技術大學大數據學院教授
個人主頁
分享內容
Related Work
CF: Collaborative Filtering,協同過濾
早期CF:手動計算相似度,用cosin等方法,再進行融合。
近10年:在隱空間學用戶和物品的表示,衡量相似度。
近兩年:把整個圖都拿過來,學習相似度。
NGCF (SIGIR2019)
將用戶、物品關係建模成二分圖,用高階連接性(對於節點u,指的是u能到達的所有節點,但是路徑長度要大於1)建模協同過濾的信號。
method:
LightGCN (SIGIR2020)
針對CF task,對GCN進行改進。
method:
最終得到的模型很簡單,丟掉了self-connection,但是能夠達到有self-connection的效果。
DGCF (SIGIR2020)
motivation:
中間的方法部分,沒錄上,沒有ppt。
總結
何老師講的內容,都有着很明確的motivation,雖然我們不做推薦這個領域,但是發現問題、研究問題的過程其實都應該是互通的。何老師講的三篇論文是漸進的,一步一步改進的,但每次改進都能帶來較大提升,這種能把方法做成一系列的,非常值得我們思考和借鑑。
[4] 圖神經網絡的表達能力
作者介紹
沈華偉 中國科學院計算技術研究所研究員,智源青年科學家
個人主頁
分享內容
GNN的框架
GNN的表達能力
一層GCN和兩層GCN的對比如下圖所示,深度越深,**節點表達能力**更高(表達能力還有:圖表達能力、結構表達能力)。 但是GCN的表達能力存在瓶頸: 下面介紹WL Test。 WL Test是aggregation-based GNNs的表達能力上限。 結論: 解決方法:總結
思考:
- DNN理論上能夠逼近任意連續函數,近似能力強,無需擔心表達能力,需要考慮泛化能力。
- GCN能不能做深?需要把特徵變換、鄰居聚合分開做,因爲鄰居聚合會給GCN的表達能力帶來瓶頸。
[5] 構建高效易用的深圖學習引擎
作者介紹
王敏捷 亞馬遜上海人工智能研究院應用科學家
個人主頁
分享內容
GNN和PageRank的計算方式存在很大的共通之處:
圖分析引擎
現有深度學習框架
現有的深度學習框架對圖神經網絡支持不好,原因在於圖計算和張量計算的區別。
DGL: Deep Graph Library
這部分是王老師分享的主要內容,也是他們團隊做的東西。DGL是圖世界和張量世界的一座橋,適用於圖神經網絡的深度學習引擎。
總結
- 目前沒有較好的、較全面的圖神經網絡計算引擎。
- 圖計算和張量計算存在本質區別。