10 月 31 日，由北京智源人工智能研究院主辦的 2019 北京智源大會在國家會議中心開幕，會期兩天。智源大會是北京創建全球人工智能學術和創新最優生態的標誌性學術活動，定位於“內行的 AI 盛會”。 在“自然語言處理專題論壇”上，來自斯坦福大學人工智能實驗室的負責人：Christopher Manning分享了有關自然語言處理的最新進展。他表示：自然語言處理在近兩年取得了矚目的成就，BERT等預訓練模型的出現爲行業帶來了新的思維方式，但是，語義理解等方面仍然存在着較爲明顯的短板，仍然需要行業共同努力，攻克難題。
大家下午好！我是Christopher Manning，斯坦福人工智能實驗室的負責人。
在今天下午我會跟大家分享一下在自然語言處理方面最新的發展，今天我發言的題目分爲兩個組成部分：在第一部分會給大家總的介紹一下自然語言處理的一些發展、商業的應用、最新的進展，以及介紹一些一般性的信息；在第二個部分，我會給大家介紹一下我和我的合作者在語言模型方面所做的一些詳細的工作。
首先從人講起。人是有需求的，人們希望彼此進行溝通，要完成任務，願意去分享我們的想法和看法。當我們談到語言的時候，主要談的是人和人之間的合作。斯坦福的一位心理學家Clark談到：“我們對語言通常的誤解，指語言和詞和詞的意思相關的，實際上並不是如此。”語言主要指的是人和人們是什麼意思，我們要讓機器去了解人類溝通的語言，讓機器能夠像人類那樣流暢地進行溝通，這樣的話計算機這些機器可以幫助我們去做一些事情。
如果說只是在人機之間建立緊密的聯繫，能夠彼此瞭解的話，我們需要機器能夠真正理解人類語言的微妙之處。我們現在有這麼多強大的計算機，在手裏、口袋裏都有這麼強大的手機，手機確實強大的微型計算機。另外一方面在我們的手機當中，如果說我們去總結這些文本也是比較難的，這些文本文字是比較小的，對年幼的人、老年人和接受過教育比較低的人，他們去用手機是不太容易的，因爲他們必須要對這些信息進行總結、歸納。我們可以直接利用人類的語言進行溝通，而不是通過手機來進行溝通。
在過去的一年當中，Gartner的競爭態勢預測：到2020年的時候，也就是明年有40%的用戶會和一些新的應用去交互，這些新的應用會支持和人工智能進行對話，他們會支持能夠與人工智能進行對話的UI。
毫無疑問，現在我們利用語音的界面，在世界各地都取得了蓬勃的發展。在美國人們發現：現在有1/3的住戶都有智能語音設備，它要比手機最開始的採納率發展的還要快。
我們現在利用語音這樣的特徵，因爲它是最容易的交互模式。我們做了一項研究，談到了通過語音識別和文本編輯的速度，平均來說通過語音輸入的速度比鍵盤快三倍。
在這個領域過程當中有很多的機會，我們能夠應用各種語音識別的技術作爲前端技術，把它用在各種你想用的應用當中。
語音識別的技術是最近才火起來，很多人根本不瞭解事情發生了多大的變化，所以我會覺得有這樣的可能，我們將會用一些語音的接口，確保這一方面被發揮到極致，現在還利用的不夠多。我們發現有很多的語音識別的支持者說：語音識別越來越好了，我們應該支持它。但是現在語音識別的現實還是不夠特別好，尤其對於一般的用戶來說。
在2010年上半年，語音識別纔開始發生了變化。利用深度神經網絡進行語音識別，錯誤率降低了1/3；除此之外，我們能夠不斷地確保深度學習語音識別的系統錯誤率下降了3/4，也就是對話式的，而現在我們會發現現在語音識別的錯誤率越來越低了。
除此之外，我們瞭解到語音識別不僅僅在識別領域有作用，對整個的語音方向性發展也非常好，包括合成。有很多人想要有效合成語音，現在很多語音合成已經可以做到跟人說話的聲音差不多。卷積神經網絡有更好的能力，確保合成語言聽起來跟人一樣的流利，除此之外，相當於人和機器在對話過程當中感知的質量差不多了。
總之，前途一片大好。但是有的時候大家如果想要在手機當中用語音界面的話，你會發現一切運行的都非常有效。
最近幾年，信息提取、輿情分析、回答問題、語義搜索、聊天機器人等等怎麼能夠解決方方面面的需求？我快速給大家介紹一下。
輿情分析主要用來分析一個人表達的是高興的、不高興的，或者中性的觀點。幾年之前研究者就會說，怎麼樣通過網絡去打造一些樹形結構，以瞭解具有細微差別的樹形細微分析，包括句法、語義等等，我們想要詮釋每一個不同的部分表達的情緒是什麼。
自然語言系統主要體現在如何打造對話機器人、對話代理。某個時尚品牌打造了一個全新的自然語言對話系統，能夠幫助用戶選擇衣服。這樣的做法使訂單增加了300%，並且更加有用地把他們花在廣告方面的錢用在刀刃上。
最後一個應用領域，神經機器翻譯。在2014年Google才真正實現了神經機器翻譯，之後我的研究團隊也可以做到這一點，我們取得了很強的進步，翻譯質量大大提高了。我們把詞的語義更好地建模，而且有更遠、更大的上下文的語境，把翻譯質量提高，把這個詞放到這個語境當中是什麼意思更準了。
除此之外，機器翻譯在商用場景中也會發生影響。eBay之前的翻譯是基於數據學統計進行的，之後升級成自然語言處理的系統，翻譯準確度提高，銷售額提升了10%，商戶的材料能夠讓用戶讀懂，也就更加有購買的慾望。
接下來快速介紹一下文本編譯器的預訓練模型。
在過去兩年，自然語言處理有了重大的突破。BERT、GPT 2.0的推出大大加速了NLP的發展。但是我們需要瞭解到，所有這些現代化模型都是轉型的模型，他們給我們提供了去思考神經網絡語言的新方式。
我們有這些語言的模型提供了做更好的語言理解的基礎，可以拿更多的文本對這些詞的預測進行預訓練，這樣的話我們就得到了神經網絡初始的權重，可以瞭解到路徑和總結、歸納自然語言的差異，接下來對這樣的網絡進行優調，讓它能夠在有限的數據量下可以去完成任務。
毫無疑問我們現在很多最新的方法，都是受益於史無前例的計算能力，使這些模型雖然發展得更好了，但是我們的環境和能源的使用並沒有從中受益。我們現在有很多的學術文件，這些學術文章指出當我們去生成優質報告的時候，應該考慮一下我們用了多少計算量，我們要充分利用更加高效的預訓練的模型來完成任務。
在結束之前分享一些我最後的想法：
這些模型有自我監督學習的能力，可以去識別出自己的任務，有一些詞可以自動隱藏掉或將特定的詞在文本當中隱藏。在自然語言處理中，這是非常高效的。看起來這樣的一種方向要比常規的多任務學習更好，自然語言處理實際上是自我監督的一種學習。在其他的領域當中，比如說機器人和視覺領域當中我沒有看到這樣的自監督學習。
我們現在進行了自我監管的學習，獲得了比較好的結果，有那麼多語言的數據。看起來我們以前的語言數據的分析，比如說推演，好像是一種錯誤，看起來可以沒有這樣的一種註釋就可以建造模型。語言結構是否是一個錯誤呢？實際上並不是如此。我們發現深度語境詞的表徵是從傳統的關鍵發現者走向了發言發現設備。最近我的團隊也做了一些研究，他們瞭解到了語言的結構，瞭解到了語言和句法等等，有機會希望再做進一步分享。
這就是我的介紹，謝謝！
Q&A
Q：您剛纔談到了您的新模型ELECTRA模型，聽起來是一個非常高效的模型，而且有很好的計算效率。您是否可以給我們分享一下爲什麼這樣的一個新的設計的任務，要比以前的任務更加高效？
Christopher Manning：這裏有雙向語境的學習，像Masked這樣語言的模型，它就像一種傳統的語言學習模型一樣，要看語境。實際上這是涉及到數據效率的ELECTRA模型，可以對每一個詞的位置來進行預測。譬如說每一個詞的位置是否是被替代了，而BERT的模型只是去對一個詞到七個詞進行預測，看看這樣的被掩蓋的記號，接下來應該是如何做預測。而現在ELECTRA是雙向二進制的預測任務，看起來應該在預測方面是具有更好的優勢。這樣二進制的任務做起來要更快一些，基本上可以獲得更高的數據效率、更高的速度，這樣就可以更快地去學習一個好的模型。
Q：像BERT模型對模型建構和參數進行了建模，您是否覺得有良好的方式可以把語言結構明確和大規模的預訓練模型結合起來？
Christopher Manning：利用明確的語言結構，確實這是我一直以來特別感興趣的一個話題。我覺得語言結構很有用，也被人們應用了，像BERT模型在學習語言結構方面取得了很好的進展，非常的成功。之前展示的論文裏，你可以拿出一支BERT把它進行正代表，然後把它放在一個句子當中進行結構的代表，這方面已經很成熟了。我會覺得未來會有更多的靈活性，能夠給大家更加有用的句法的結構，我覺得這是一個很有力量的發展方向。
Q：您覺得人類的知識在教機器瞭解人類語言的過程當中，實際上在一個數字驅動的時代有什麼樣的作用呢？
Christopher Manning：我會覺得人類的知識是超級重要的，超重要！我們會覺得人類語言的理解會吸取包羅萬象的知識才行，必須要找到一種方法放在自然語言處理的系統過程當中。現在Transformer的模型根本就沒有給你一個答案，它只是給你幾百個詞的語境，僅此而已，沒有辦法向上擴展。還包括聯想記憶，會有一定的結構嗎？沒有，只是一些圖形的知識。我們會覺得必須要找到另外的知識內化的方式才行，這是必要之舉，只有這樣才能夠得到更高級別的自然語言處理。