作者｜邴立東、程麗穎、付子豪、張琰等
單位｜阿里巴巴達摩院、香港中文大學等
摘要
基於結構化數據生成文本（data-to-text）的任務旨在生成人類可讀的文本來直觀地描述給定的結構化數據。然而，目前主流任務設定所基於的數據集有較好的對齊 （well-aligned）關係，即輸入（i.e. 結構化數據）和輸出（i.e. 文本）具有相同或很接近的信息量，比如 WebNLG 當中的輸入 triple set 和輸出文本所描述的知識完全匹配。但是，這樣的訓練數據製作困難且成本很高，現有的數據集只限於少數幾個特定的領域，基於此訓練的模型在現實應用中存在較大的侷限性。
因此，我們提出了基於部分對齊（partially-aligned）樣本的文本生成任務。部分對齊數據的優勢在於獲取門檻低，可以用自動或半自動方式構造，因而更容易拓展到更多的領域。我們考慮了兩個對偶的部分對齊場景，即輸入數據多於文本描述和文本描述多於輸入數據。
對於數據多於文本的情況，我們發佈了 ENT-DESC 數據集 [1]，並且針對數據中存在冗餘信息的問題，我們提出了多圖卷積神經網絡 （Multi-Graph Convolutional Network）模型來抽取重要信息，生成更爲凝練的文本描述。
對於文本多於數據的情況，我們發佈了 WITA 數據集 [2]，並且針對訓練樣本中文本的多餘信息，提出了遠程監督生成（Distant Supervision Generation）框架，以確保基於非嚴格對齊樣本訓練的模型，在應用中能夠如實地生成給定數據的描述。
基礎模型層面，本文將介紹我們提出的輕量、動態圖卷積網絡 （Lightweight, Dynamic Graph Convolutional Networks），簡稱 LDGCN [3]，可以有效的融合圖結構中來自不同階節點的信息，進而學習更優的圖表示，並提升下游文本生成的效果。
參考文獻
[1] ENT-DESC: Entity Description Generation by Exploring Knowledge Graph. Liying Cheng, Dekun Wu, Lidong Bing, Yan Zhang, Zhanming Jie, Wei Lu, Luo Si. EMNLP, 2020.
[2] Partially-Aligned Data-to-Text Generation with Distant Supervision. Zihao Fu, Bei Shi, Wai Lam, Lidong Bing, Zhiyuan Liu. EMNLP, 2020.
[3] Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text Generation. Yan Zhang, Zhijiang Guo, Zhiyang Teng, Wei Lu, Shay B. Cohen, Zuozhu Liu, Lidong Bing. EMNLP, 2020.
非嚴格對齊的文本生成：輸入數據多於文本描述
論文標題：
ENT-DESC: Entity Description Generation by Exploring Knowledge Graph
論文鏈接：
https://www.aclweb.org/anthology/2020.emnlp-main.90.pdf
數據代碼連接：
https://github.com/LiyingCheng95/EntityDescriptionGeneration
1.1 任務設置
本篇論文的基本出發點是提出一個實用的主題化文本生成任務設定，而這個設定下構造的數據集具有輸入數據多於生成文本的特點。現有結構化數據到文本生成的任務要求輸出的信息在輸入的結構化數據中有很充分的體現，比如 WebNLG 數據集 [1] 等。
這樣的任務設定和數據準備在實際應用中均有一定的侷限性。而本篇論文所提出的主題化實體描述生成，是在給定一個主實體（main entity）的前提下，通過利用該實體的多個附屬主題實體（topic-related entity），對生成的主實體描述進行一定的導向和限制，使其符合某一主題。
上圖例子中，紅色框內是輸入的主實體（Bruno Mars）和多個附屬主題實體（funk, rock, R&B 等），目標是生成符合這一特定主題的文本描述，如藍色方框所示，來介紹 Bruno Mars 其人以及其音樂風格等。爲了使生成的描述符合現實世界的知識，我們依據輸入實體，有選擇性地利用知識圖譜中關於這些實體的知識，如綠色方框所示，輔助生成該實體的主題化描述。本任務相較於現有的生成任務更具有實用性和挑戰性。
1.2 ENT-DESC數據集
基於這樣的任務設定，本篇論文提出了一個新的數據集 ENT-DESC。此數據集採用了較爲普遍和常規的維基百科數據集和 WikiData 知識圖譜。
首先，我們用 Nayuki 的工具（https://www.nayuki.io/page/computing-wikipedias-internal-pageranks）去給超過 990 萬維基百科頁面計算 PageRank。然後我們根據 PageRank 排名，選用了來自於四種主要領域的 11 萬主實體名詞，以及維基百科第一段文本中帶有超鏈接的名詞作爲附屬主題實體。
我們即用每個維基百科頁面的第一段文本作爲輸出。另外我們利用已有知識圖譜 Wikidata，選取了主實體的相鄰實體，以及主實體和附屬主題實體間的 1 跳和 2 跳路徑。據我們所知，ENT-DESC 是現有知識圖譜生成文本的類似數據集中規模最大的。其與部分現有數據集的比較如下圖所示。
此數據集的一大特性爲輸入中包含輸出內容以外的信息，因此要求模型可以有效選取輸入中更爲有用的信息去做生成。有關 ENT-DESC 數據集以及其更詳細的準備和處理步驟可參閱：
https://github.com/LiyingCheng95/EntityDescriptionGeneration/tree/master/sockeye/data/ENT-DESC%20dataset
1.3 MGCN模型
在模型層面，現有序列到序列的文本生成模型不能夠很好地利用圖的結構與信息，而圖到序列模型 [2] 將圖中實體間的關係變爲實體的參數，此類模型遇到信息丟失和參數過多的問題。有論文提出了 Levi 圖轉換方法 [3]，即將原始圖中的關係轉化成點，以用於解決前面提到的問題。但是 Levi 圖轉化仍然有它自己的缺陷。
在 Levi 圖中，我們不能很好的區分哪些點是原始圖中的實體或關係，並且實體間的直接聯繫在 Levi 圖中被忽略。另外，不同類型的邊被融合在 Levi 圖中一起學習，不能很好地區分不同類型邊的不同重要性。
爲了解決現有模型在本篇論文提出的知識圖譜驅動實體文本描述生成的任務上的缺陷，本篇論文采用了編碼-解碼架構（encoder-decoder），提出了一種基於多圖卷積神經網絡（Multi-Graph Convolutional Network）的文本生成模型。
在多圖編碼器（Multi-Graph Encoder）中，不同於傳統的圖編碼器，我們疊加了多層多圖卷積神經網絡。每層多圖卷積神經網絡的結構如左圖所示。我們先將輸入圖嵌入轉化爲 6 個不同圖的鄰接矩陣，分別放入 6 個圖編碼器，以此得到 6 個包含不同類型信息的圖嵌入。繼而將這些圖嵌入進行聚合運算，得到下一層的圖嵌入。
解碼器（decoder）是一個基於標準的長短時記憶網絡（LSTM）的文本生成模型。本篇論文中的解碼器對於在編碼過程中學習到的隱藏子圖的特徵與結構信息進行解碼，並生成相應的描述文本。此模型結構有效避免了信息丟失和參數過多的問題，有選擇性地捕捉了多圖中的重要信息並進行了有效聚合。
上圖展示了多圖轉化的過程。類似於 Levi 圖轉化的過程，我們將原始圖中的邊轉化爲點。
（1）在 g1:self 圖中，我們給所有的點加一條自循環的邊。（2）在 g2:default1 圖中，我們把點和邊按原始圖中的默認順序進行連接。（3）在 g3:reverse1 中，我們將 g2 中的邊進行反向連接。（4）在 g4:default2 中，我們將點和點之間按默認順序連接。（5）類似地，在 g5:reverse2 中，我們將點和點之間的邊反向相連。（6）最後，我們額外加了全局點（gnode），並把它與圖中其他所有點按圖中方向相連。
它的創新之處在於將原始圖中的點到點、點到邊的正向與反向信息明確地表示在不同圖中，這樣簡單明瞭的轉化過程對多圖卷積神經網絡中的學習起到了巨大的幫助作用。
1.4 主要實驗結果
我們在本篇論文所提出的 ENT-DESC 數據集和 WebNLG 數據集上均實驗了提出的模型。下圖是我們在 ENT-DESC 數據集上的主要實驗結果。
我們與序列到序列生成模型及多種圖到序列生成模型在多種評測標準上均做了比較。從表格和圖中，我們可以觀察到，現有圖到序列模型可以達到 BLEU 值 24.8，現有深層圖到序列模型 [4] 的 BLEU 值爲 24.9。而我們的多圖神經網絡結構在 6 層時可以達到 25.7 的 BLEU 值，加上聚合運算後可以達到 26.4。
由此可見，我們提出的多圖卷機神經網絡的模型有效地捕捉了知識圖譜中的重要信息並進行了有效聚合。我們進一步對數據進行了歸一化處理（delexicalization），實驗結果均有更進一步的提升。
另外，此模型在 ENT-DESC 數據集以及現有數據集上（如：WebNLG）相對於多個基準模型在多個評測標準上均顯示明顯提升，同時其可被擴展應用於其他圖相關的自然語言處理研究中。
上圖展示了知識驅動文本生成的例子。紅色高亮文本是主要實體，藍色高亮文本是附屬主題實體。與維基百科的參考文本相比，我們提出的多圖卷積神經網絡與聚合運算能夠準確捕捉到主要實體以及大部分附屬主題實體。而傳統的圖到序列生成模型未能識別出主要實體。這進一步體現了傳統圖到序列模型會造成信息丟失的情況，同時也體現了多圖卷積神經網絡對於提取重要信息的有效性。
參考文獻
[1] Claire Gardent, Anastasia Shimorina, Shashi Narayan, and Laura Perez-Beltrachini. 2017. The webnlg challenge: Generating text from rdf data. In Proceedings of INLG.
[2] Diego Marcheggiani and Ivan Titov. 2017. Encoding sentences with graph convolutional networks for semantic role labeling. In Proceedings of EMNLP.
[3] Daniel Beck, Gholamreza Haffari, and Trevor Cohn. 2018. Graph-to-sequence learning using gated graph neural networks. In Proceedings of ACL.
[4] Zhijiang Guo, Yan Zhang, Zhiyang Teng, and Wei Lu. 2019. Densely connected graph convolutional networks for graph-to-sequence learning. TACL.
非嚴格對齊的文本生成：文本描述多於輸入數據
論文標題：
Partially-Aligned Data-to-Text Generation with Distant Supervision
論文鏈接：
https://www.aclweb.org/anthology/2020.emnlp-main.738.pdf
數據代碼鏈接：
https://github.com/fuzihaofzh/distant_supervision_nlg
2.1 簡介
在基於結構化數據生成文本（data-to-text）[1,2] 任務中，現有的模型要求訓練的數據和文本是嚴格對齊的（well-aligned），導致可以用於訓練的數據非常稀少且標註代價高昂，因此，現有的經典生成任務只限於少數幾個特定的領域。
本文旨在探索使用部分對齊（partially-aligned）的數據來解決數據稀缺的問題。部分對齊的數據可以自動爬取、標註，從而能將文本生成任務推廣到更多的數據稀缺的領域。但是，直接使用此類數據來訓練現有的模型會導致過度生成的問題（over-generation），即在生成的句子中添加與輸入無關的內容。
爲了使模型能夠利用這樣的數據集來訓練，我們將傳統的生成任務擴展爲“部分對齊的數據到文本生成的任務”（partially-aligned data-to-text generation task），因爲它利用自動標註的部分對齊數據進行訓練，因此可以很好地被應用到數據稀缺領域。
爲了解決這一任務，我們提出了一種新的遠程監督（distant supervision）訓練框架，通過估計輸入數據對每個目標詞的支持度，來自動調節相應的損失權重，從而控制過度生成的問題。我們通過從 Wikipedia 中抽取句子並自動提取相應的知識圖譜三元組的方式製作了部分對齊的 WITA 數據集。
實驗結果表明，相較於以往的模型，我們的框架能更好地使用部分對齊的數據，緩解了過度生成問題，從而驗證了使用部分對齊的數據來訓練生成模型的可行性。本文的數據和源代碼可以從下方鏈接獲取：
https://github.com/fuzihaofzh/distant_supervision_nlg
2.2 WITA數據集
我們通過抽取 Wikipedia 句子中的三元組來自動構建部分對齊的數據集。整個抽取框架如圖所示。
首先，我們提取出 Wikipedia 每篇文章的第一個句子，隨後，我們用實體檢測器（Entity Detector）來抽取出每個句子所包含的所有實體，該實體檢測器包含三個部分，分別是鏈接檢測，NER 檢測以及名詞檢測，其中 NER 檢測和名詞檢測通過 spaCy 實現。接着，這些名詞經過一些規則過濾後，兩兩組合（笛卡爾積）得到了實體對（Entity Pair）的列表。
另一方面，我們將 Wikidata 導入到 ElasticSearch，Wikidata 是一個知識圖譜的庫，包含了很多客觀信息的三元組描述。
我們用每個三元組的頭尾實體對做索引，用整個三元組做值，這樣一旦給定一個實體對，我們就能方便地通過查詢 ElasticSearch 得到他們之間的三元組關係。我們將笛卡爾積中的每個實體對輸入到 ElasticSearch 中查詢他們的關係，通過一些規則過濾，得到最終句子對應的三元組。
下表是我們的新的數據集（WITA）和現有的數據集 WebNLG [1] 的對比。我們發現，我們的數據集比 WebNLG 大，同時包含的關係種類（Relation Type）是 WebNLG 的兩倍，含有的實體種類是 WebNLG 的 40 倍，而包含的詞典大小也是 WebNLG 的 12 倍。因此 WITA 數據集包含有更廣闊領域的信息。
然而，這種自動標註的數據並不是嚴格對齊的，如圖所示，因爲很多信息 Wikidata 中並不包含，所以文本會包含比三元組多的信息。直接使用此類數據來訓練現有的模型會導致過度生成的問題（over-generation）。
在圖中，文本中紅色的部分是三元組中未包含的信息，普通的生成模型會錯誤地認爲這些信息是由給定三元組的某些部分給出的，因此，在使用訓練好的模型做生成時，給定一些數據，它會生成額外的未提及的信息。
以下圖爲例，訓練數據中“develpoed in Canada”就沒有對應的三元組描述，模型會錯誤地將其綁定到給定的 genre 三元組中，因此，在生成關於另一個 genre 三元組的描述時，就可能會加上這個冗餘的信息。我們提出了遠程監督生成框架（Distant Supervision Generation）來解決這個問題。
2.3 模型框架
如圖所示，我們的遠程監督生成框架（Distant Supervision Generation framework）包含了四個模塊：
1）支持度估計器（Supportiveness Estimator，SE）；2）序列到序列生成器（Sequence-to-Sequence Generator，S2SG）；3）支持度適配器（Supportiveness Adaptor，SA）；4）重平衡集束搜索（Rebalanced Beam Search，RBS）。下面我們分別來看每個模塊的作用。
SE 模塊主要負責計算輸入數據對目標文本中每個詞的支持度。如圖所示， 是文本序列， 是輸入數據，我們首先採樣一個負樣本文本 ，然後得出他們對應的特徵矩陣 以及這些特徵矩陣之間的點積矩陣 和 。其中， 的每個元素表示輸入數據中的每個詞對目標文本中的每個詞的支持度，接着我們計算出輸入數據整體對每個目標詞的支持度爲
它的含義是，如果輸入三元組和目標文本中含有相同的詞，那麼矩陣 對應的元素會變大。另一個是集中損失（concentration loss）：
這項損失防止三元組中的某個詞支持太多的目標文本詞。最後，總體的優化目標是以上損失的加權組合：
S2SG 模塊主要負責文本生成，我們通過 Transformer [3] 來實現。
SA 模塊將 SE 模塊得出的支持度適配到 S2SG 的每個詞的損失上
其中 是三元組對第 i 個目標詞的支持度，而 則是第 i 個詞對應的損失。
RBS 模塊主要應用在生成環節，我們對每一個詞計算一個輸入三元組的支持度 ，然後我們重新計算每個詞的概率爲 ，其中 是一個可調的參數。
2.4 主要實驗結果
下表是主要實驗結果，我們對比了一些常見的生成模型，其中 S2S [4] 採用基於 LSTM 的 sequence-to-sequence 模型，而 S2ST [3,5] 則是基於 Transformer 的生成模型，DSG-A 和 DSG-H 則是分別採用 Attention Adaptor 和 Hard Adaptor。
通過對比，我們發現，加入 Supportiveness Adaptor 之後，系統的性能都有所提升，而我們提出支持度計算和適配的方法取得了最好的效果。通過消融實驗，我們可以觀察到 RBS 和 SA 都明顯地提升了模型效果。
下圖是對比了我們的支持度和傳統注意力值的熱力圖。我們可以看到，因爲注意力機制本身有歸一化的約束，導致了一個詞的支持度之和是固定的，這樣，如果有很多詞支持，就會分散支持的權重，因而我們的支持度計算方法比直接用注意力當支持度能更好地反應支持度的強弱。
爲了更直觀地展示 DSG 模型能很好地解決過度生成問題。我們採樣了一些輸出結果作對比，通過把和輸入不相關的生成部分用紅字標出，可以發現，如果直接用 WITA 數據來訓練傳統的 S2ST 模型，生成的時候會產生很嚴重的過度生成的問題，而我們提出的 DSG 模型則能很好地解決這個問題，取得好的生成效果。
參考文獻
[1] Claire Gardent, Anastasia Shimorina, Shashi Narayan, and Laura Perez-Beltrachini. 2017. Creating training corpora for nlg micro-planners. ACL.
[2] Remi Lebret, David Grangier, and Michael Auli. 2016. Neural text generation from structured data with application to the biography domain. EMNLP.
[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. 2017. Attention is all you need. NIPS.
[4] Anastasia Shimorina and Claire Gardent. 2018. Handling rare items in data-to-text generation. INLG.
[5] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. 2019. fairseq: A fast, extensible toolkit for sequence modeling. NAACL.
輕量、動態圖卷積網絡及其在文本生成中的應用
論文標題：
Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text Generation.
論文鏈接：
https://www.aclweb.org/anthology/2020.emnlp-main.169.pdf
代碼鏈接：
https://github.com/yanzhangnlp/LDGCNs
3.1 簡介
圖神經網絡（Graph Neural Networks）是學習圖表示的一類強大方法，已應用於許多自然語言處理任務中，例如信息抽取，情感識別和文本生成。圖卷積網絡（Graph Convolutional Networks），是圖神經網絡中的一種。
相比於圖循環網絡（Graph Recurrent Networks） 以及最近的圖變換網絡（Graph Transformer Networks）, 圖卷積網絡具有更好的計算效率。但由於圖卷積網絡遵循鄰接信息（First-order）傳遞機制，對高階信息的融合不如圖循環網絡和圖變換網絡。
爲此，我們提出了一種動態融合機制，可以有效的融合圖結構中來自不同階節點的信息。具體地，我們利用了門控機制動態接受圖結構中不同階節點的信息流，從而可以同時融合低階和高階的信息。例外，我們還提出了兩種參數共享機制，減少了模型的複雜度，提高了模型的效率。
結合動態融合機制和參數共享機制的圖卷積網絡，我們稱之爲輕量、動態圖卷積網絡（Lightweight, Dynamic Graph Convolutional Networks），簡稱 LDGCN。
我們在 AMR-to-Text Generation 這一類文本生成任務中進行了實驗。AMR（Abstract Meaning Representation）是一種將句子的語義抽象表示的有根有向圖（rooted directed graph），其中節點（nodes）是概念（concept），邊（edges）是語義關係（semantic relations）。
AMR-to-Text Generation 是將 AMR 圖編碼並解碼成表達其含義的文本。這個任務的關鍵挑戰在於如何有效捕獲基於圖的數據中存儲的複雜結構信息。實驗結果表明，我們的模型 LDGCN, 不僅性能優於其他圖神經網絡模型，而且模型十分輕便，參數量遠少於性能最好的圖變換網絡模型。
3.2 模型框架
3.2.1 動態融合機制
傳統的圖卷積網絡受限於鄰接信息傳遞機制，忽略了高階有效信息，受門控線性單元（Gated Linear Units）的啓發 [1]，我們提出了動態融合機制。該機制可以讓圖卷積網絡融合來自不同階節點的信息同時保留模型的非線性特性。如上圖所示，模型工作流程如下。每一個圖卷積層均以 k 個 k 階鄰接矩陣爲輸入（這裏 k=3）, 動態融合機制，利用門控方式，整合從 1 到 k 跳鄰居的信息，其函數表示如下：
其中， G 是一個基於高階鄰接矩陣信息的門控矩陣，表示爲：
3.2.2 參數共享機制
深度圖卷積網絡一般能夠表現出更好的性能，但越深的網絡也會導致更多的參數，從而增加了計算上的複雜度。爲了提高模型的效率，我們提出了圖分組卷積（Group Graph Convolution）和權重綁定卷積（Weight Tied Convolutions）兩種參數共享機制。其中，圖分組卷積用於減少每一層圖卷積網絡的參數而權重綁定卷積則用於層與層之間參數的共享。
受分組卷積 [2] 的啓發，我們提出了兩種在圖卷積網絡上的拓展，即深度圖分組卷積（Deepthwise Group Graph Convolution）和層級圖分組卷積（Layerwise Group Graph Convolution）.
如上圖所示，對於深度圖分組卷積，輸入表示和輸出表示被分成了不相交的 n 組（這裏 n=3）進行計算。將三組表示拼接則爲輸出層表示。這樣每一層的參數可以減少 n 倍。
層級圖分組卷積是基於最近的密集連接圖卷積網絡 [3] 提出的。如上圖所示，在密集連接圖卷積中，每一層的輸入來自於之前所有卷積層輸出拼接而成。而層級圖分組卷積在此基礎之上，還將輸入表示分成了 n 組（這裏 n=3）進行計算。
啓發於最近的權重綁定自注意力網絡 [4]，我們提出了權重綁定圖卷積。如上圖所示，在權重綁定圖卷積中，每一層都使用相同的參數。從而較大地節省了模型的參數。
3.3 主要實驗結果
基於不同的參數共享機制，我們分別命名爲 LDGCN_WT（Weight Tied）和LDGCN_GC（Group Convolution）。我們主要在兩個標準的 AMR 數據集上進行了實驗, 即 AMR2015（LDC2015E86）和 AMR2017（LDC2017T10）。
上面表 1 展示了兩個數據集上的結果（B, C, M 和 #P 分別代表 BLEU, CHRF++, METEOR 和模型的參數量）。我們的模型 LDGCN_GC 在兩個數據集上都取得了最好的結果。而且相比當前最好的圖變換網絡模型 GT_SAN，我們的模型只需要大約五分之一的參數。而相比於其他圖卷積網絡，我們的模型也都遠遠強於當前最好的模型 DCGCN 以及 DualGraph。
表 2 展示了模型在大規模數據集上的結果。可以看到，我們模型 LDGCN_WT，優於當前最好的 Transformer 模型，且只使用了其四分之一數據（0.5M）。而與表1結果不同的是，在使用較大數據的情況下，LDGCN_WT 效果優於 LDGCN_GC。我們推測，足夠的數據可以提供足夠的正則化來減少震盪，穩定 LDGCN_WT 的訓練過程。
參考文獻
[1] Yann Dauphin, Angela Fan, Michael Auli, and David Grangier. 2016. Language modeling with gated convolutional networks. In Proc. of ICML.
[2] Andrew G. Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, and Hartwig Adam. 2017. Mobilenets: Efficient convolutional neural networks for mobile vision applications. ArXiv, abs/1704.04861.
[3] Zhijiang Guo, Yan Zhang, Zhiyang Teng, and Wei Lu. 2019b. Densely connected graph convolutional networks for graph-to-sequence learning. Transactions of the Association for Computational Linguistics, 7:297–312.
[4] Shaojie Bai, J. Zico Kolter, and Vladlen Koltun. 2019a. Deep equilibrium models. In Proc. of NeurIPS.
總結
文本生成作爲近年來引起廣泛關注的研究課題，有着豐富的應用場景。基於結構化數據和知識的文本生成是一個重要的研究方向。本文探索的非嚴格對齊的文本生成任務設定，給基於知識的文本生成任務引入了更實用化的新發展，我們公佈了兩個新數據集以支持這方面的研究。另外，本文介紹的輕量、動態 GCN 模型 LDGCN，不但可以有效的融合圖結構中來自不同階節點的信息，還可以通過參數共享機制，提高 GCN 模型的效率。
本文由阿里巴巴達摩院新加坡 NLP 團隊邴立東、程麗穎、張琰，香港中文大學付子豪共同整理而成。由 PaperWeekly 編輯進行了校對和格式調整。
更多閱讀
#投 稿 通 道#
讓你的論文被更多人看到
如何才能讓更多的優質內容以更短路徑到達讀者羣體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成爲一座橋樑，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術乾貨。我們的目的只有一個，讓知識真正流動起來。
???? 來稿標準：
• 稿件確係個人原創作品，來稿需註明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）
• 如果文章並非首發，請在投稿時提醒並附上所有已發佈鏈接
• PaperWeekly 默認每篇文章都是首發，均會添加“原創”標誌
???? 投稿郵箱：
• 投稿郵箱：[email protected]
• 所有文章配圖，請單獨在附件中發送
• 請留下即時聯繫方式（微信或手機），以便我們在編輯發佈時和作者溝通
????
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關於PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公衆號後臺點擊「交流羣」，小助手將把你帶入 PaperWeekly 的交流羣裏。
