微信AI,NLP領域又獲一項世界第一,這次是在機器閱讀理解方面。
在專門考驗計算機數學推理能力的DROP數據集上,微信AI最新方案超過了Google Research,排名第一,成爲SOTA。
今年3月,在第七屆對話系統技術挑戰賽(DSTC7)上,首次亮相的微信智言團隊一路過關斬將,最終拿下冠軍。
不過這一次,微信AI團隊說,這不僅是他們在機器閱讀理解方面的進展,也是他們在數學推理方面的第一篇工作。
這一方案,並沒有以當前業界主流的BERT爲核心,而是以數字感知的圖神經網絡(NumGNN)方案爲基礎。
微信AI團隊介紹,在NumGNNd爲核心的情況下,結合NAQANet的基礎模塊以及改進的前處理方法,在不使用BERT、RoBERTa等預訓練模型的條件下,就能獲得了高達67.97%的F1值。
在實際提交到榜單上的NumNet+上,他們又進一步融入RoBERTa的能力,並增加了對多span型問題的支持,從而使單模型 F1值能夠高達82.99%。
從而,他們也得出了一個結論:
即使不使用BERT等預訓練模型,模型的效果就已經比使用BERT的好了。
微信AI團隊說,這一方案可以幫助人工智能提升閱讀理解能力和邏輯推理能力,將來也會將其中的技術應用到騰訊小微智能對話助手中。
不過區別於谷歌和百度等智能語音助手的To C產品形式,目前騰訊小微智能對話助手,主要還是以雲服務形式對外輸出。
微信成績意味着什麼?AI考數學
先從數據集DROP說起。
DROP數據集,由AI2(Allen Institute for Artificial Intelligence)實驗室提出,主要考察的是模型做類似數學運算相關的操作能力。
(小巧合,微信之父張小龍英文名也叫Allen,但allen.ai的域名屬於AI2)
與SQuAD數據集中大多都是“劉德華老婆是誰?”的問題不同,其中的問題會涉及到數學運算的情況。
比如說,給我們5個人每個人買2個蛋撻,一共要買幾個蛋撻?
這個問題對於人來說很簡單,但對於機器來說卻很困難。
微信AI團隊解釋了這背後的原因:機器不僅要能夠比較數字相對的大小,還要能夠知道和哪些數字做比較並進行推理,這就需要把數字相對的大小等等知識注入模型。
但在之前大多數機器閱讀理解模型中,基本上都將數字與非數字單詞同等對待,無法獲知數字的大小關係,也不能完成諸如計數、加減法等數學運算。
正是基於這一原因,微信AI團隊提出了一種數字感知的圖神經網絡(numerically-aware graph neural network,NumGNN),並基於此提出了NumNet。
一方面利用圖的拓撲結構編碼數字間的大小關係,將文章和問題中的數字作爲圖結點,在具有“>”和“<=”關係的數字間建立有向邊,從而將數字的大小關係作爲先驗知識注入模型。
具體來講,給定一個問題和一段文本,先把問題裏面的數字和文本里面的數字都抽出來。
每個數字就是圖上一個節點,同時對於任意兩個數字,假如A數字和B數字,如果A大於B的話,那麼A和B中間加一條有向邊,表示數字A和B之間是A大於B的關係。
如果A小於等於B,則會加另外一種有向邊,把它們兩個連接起來。通過這種操作,用圖的拓譜結構把數字相對大小知識注入模型。
另一方面,是結合文本信息去做更復雜的數學推理,具體的實現方式是使用圖卷積神經網絡在前述圖結構上執行推理,從而支持更復雜的數學推理功能。
超過Google方案,斬獲全球第一
在DROP數據集的LEADERBOARD上,微信AI團隊的方案爲NumNet+。
微信AI團隊介紹稱,這一方案的基礎與NumNet一樣,都是NumGNN。
在新的方案中,用預訓練模型替換了NumNet中的未經過預訓練的Transformer作爲encoder,進一步融入了RoBERTa的能力以及對多span型問題的支持。
從而實現了單模型 F1值 82.99%的效果,一舉超過Google Research的BERT-Calculator Ensemble方案,成爲榜單第一。
儘管取得的效果還不錯,但在微信AI團隊來看,但還有很多缺陷。
比如說,目前能夠支持的數學表達式種類還是受到一定限制。尤其是DROP數據集的侷限,其對文本理解的要求更高,但需要的數學推理難度比解數學應用題那類問題來得相對簡單一點。
微信AI團隊說,如何把兩者更好的結合起來,使得整個模型的能力進一步的提升,是他們下一步考慮的問題。
而且,他們也說,並不會把注意力集中在用GNN來解決數字推理的問題上,後面也會重點去考慮其他的方式。
更具體來說,是能夠將arithmetic word problems (AWPs)相關工作中處理複雜數學表達式相關的方法能夠進行吸收融合,進一步提升模型的推理能力。
更多詳情,可以前往DROP數據集LEADERBOARD:
https://leaderboard.allenai.org/drop/submissions/public
而微信AI這次的研究成果,已經被EMNLP2019收錄,論文也已公開發表:
NumNet: Machine Reading Comprehension with Numerical Reasoning
https://arxiv.org/abs/1910.06701
項目地址:
https://github.com/llamazing/numnet_plus
本文經AI新媒體量子位(公衆號ID:QbitAI)授權轉載,轉載請聯繫出處。