最近看了些圖神經網絡方面的論文，發現這幾年這方面的文章雖然很多，但是各類方法在幾個benchmark數據集上的準確率並沒有很明顯的提升。看了10來篇論文後，找了一個實現相對簡單，性能還算可以的方法介紹給大家
之前寫過幾篇關於圖神經網絡的論文解析和復現
DeepLearning | 圖注意力網絡Graph Attention Network（GAT）論文、模型、代碼解析
DeepLearning | 圖卷積神經網絡(GCN)解析(論文、算法、代碼)
今天介紹的是2020年ICLR最新的論文
Topological Based Classification using Graph Convolutional Networks
恰好，這篇論文裏的方法是基於GCN和GAT來進行實驗的，所以感興趣的朋友不妨先去看看之前的兩篇博客
一、摘要
在圖模型中，通常認爲節點的類別與它們的近鄰節點的類別相關聯。這裏，我們提出節點的類別也與節點的拓撲結構特徵相關聯。利用這一關聯性，我們提升了圖機器學習模型的性能，特別的，以圖卷機網絡（GCN）和圖注意力網絡（GAT）爲例。
首先，我們表明，即使在節點上沒有任何外部信息的情況下使用以下兩種方法可以在預測節點類時獲得良好的精度：1.使用拓撲結構特徵，2.使用鄰居節點的標籤。這種準確性略小於使用基於內容的GCN可以獲得的值。其次，我們證明顯式地將拓撲特徵作爲輸入添加到GCN中與節點上的外部信息結合時，不會提高準確性。但是，添加一個基於拓撲特徵的鄰接矩陣可以顯著提高模型精度，在多個數據集中獲得優於所有最新方法的結果。
二、方法
首先我們說明文章的貢獻點
-
提出了基於拓撲特徵的GCN（T-GCN）。我們構造了兩個鄰接矩陣，第一個鄰接矩陣是通常意義上基於節點特徵構造的，而第二張圖是基於圖的拓撲結構特徵構造的。兩張圖的節點數量相同，不同點在於拓撲結構圖的節點特徵描述了該節點的拓撲屬性。拓撲屬性包含很多種，比如近鄰數量等。通過拓撲屬性的相似度來構造拓撲結構圖的連接關係，這一點其實和第一張圖也是相似的，只是節點的描述內容變了
-
提出了基於拓撲特徵的GAT（T-GAT）。與T-GCN相似，只是卷積層由普通的卷積換成了注意力卷積。這也說明了提出的拓撲特徵的普適性能。
文章還嘗試了對拓撲特徵的其他一些運用，如將拓撲特徵和普通特徵連接輸入等，但這些方法並沒有在實驗中表現出突出性能，因此，這裏就不多做描述了。
拓撲結構特徵包含的屬性有以下內容：
- 度: 邊的進出（在有向圖的情況下）數
- 中間性：中間性是中心度的度量，定義爲從其它所有頂點到該頂點最短路徑的數量
- 緊密型：緊密型也是中心度的度量，定義爲該頂點到其他頂點最短路徑的平均長度
- 距離分佈：我們使用Djekstra算法計算從每一個節點到其他節點的距離分佈，然後使用該分佈的一階和二階量
- 流量：我們將節點的流量定義爲節點與所有其他節點之間的無向和有向距離之比。
- 吸引力：吸引力是“從每個頂點可以到達的網絡的加權分數”與“可到達頂點的網絡的加權分數” 的比較
- 頻率：對於每個節點，我們計算該節點參與的每個模體的頻率
- K-核：K-核是一個極大子圖，它包含K次或更多的頂點。等價地，它是由刪除度小於k的所有節點
- Louvain社區檢測算法。Louvain算法是一種社區檢測算法。該算法通過模塊化的優化工作，刻度值在-1到1之間
上述的每一種屬性，都有相應的論文進行詳細的論述和討論，具體見論文參考文獻
文章提出的模型結構如下：
很清楚的，可以看出，文章模型的變化只是在第一層多了一個圖卷積層，而該卷積層使用的是使用拓撲屬性構造的鄰接矩陣。
三、實驗
數據集是幾個圖網絡方面標準的數據集
模型參數
實驗結果
可以看出，在使用了拓撲屬性特徵以後，GCN在Citeseer數據集上，模型準確率提升了近3%。
這裏是幾種對拓撲特徵不同用法的對比，可以發現T-GCN總是比傳統的GCN要好。
四、 更多資源下載
有問題可以私信博主，點贊關注的一般都會回覆，一起努力，謝謝支持。
微信搜索“老和山算法指南”獲取下載鏈接與技術交流羣