理解和運用自然語言是人工智能需要解決的核心問題之一。隨着深度學習技術的發展， 語義理解、機器翻譯等NLP任務都取得了長足的進步。百度在NLP領域深耕多年，各項技術也在實際業務中廣泛落地。在AICon大會即將召開之際，InfoQ有幸採訪了百度人工智能技術委員會主席何中軍，聽他分享百度NLP技術實踐以及NLP技術未來的發展方向。
百度NLP技術的落地實踐
誕生之日起，百度就將自然語言處理技術廣泛應用於其各個業務中，比如百度搜索、query改寫、分詞、專名識別等。隨着技術的進步，應用場景不斷拓展，自然語言處理技術也發揮越來越重要的作用。百度很早就做了比較全面的佈局，涵蓋語義理解、人機對話、機器翻譯、閱讀理解、深度問答、語言生成等重要方向。其中，既有核心技術、前瞻研究，也有應用系統。
語義理解
過去兩年，預訓練技術在NLP領域發展迅速，刷新了NLP各類任務的最好結果（SOTA）。百度研發團隊看到了預訓練技術帶來的廣闊前景，判斷出這項技術將會是NLP未來發展的重要方向，也會爲公司業務線賦能。因此，在語義理解方面，百度2019年研發出了基於知識增強的持續學習語義理解框架ERNIE。
ERINE項目地址：https://github.com/PaddlePaddle/ERNIE
據何中軍介紹，相對於國際上其他的模型，ERNIE可以持續地學習海量數據中詞彙、結構、語義等知識，使得模型效果不斷提升，而傳統模型主要學習語言的共現，沒有對海量數據中的其他豐富知識進行建模。由於對知識的有效利用以及模型的創新，ERNIE僅用了1/4的訓練數據和1/16的GPU資源，在GLUE評測中首次突破90分，超過了國際上許多其他同類模型。
爲了使ERNIE在業務中廣泛落地，百度又提出ERNIE輕量化技術，將其響應時間壓縮至千分之一，極大地降低了ERNIE性能開銷，使得ERNIE在工業界得到了大規模應用。當前ERNIE在搜索、信息流、小度音箱、智能客服等數十個核心業務上落地，提升了產品智能化水平，幫助人們更加方便、快捷、準確地獲取信息。
隨着ERNIE累計學習知識量的積累，機器資源也面臨着巨大挑戰。據何中軍稱，“目前，ERNIE累計學習知識量已經超過十億。” 爲了解決海量數據對機器資源造成的壓力，百度研發團隊又基於自研的深度學習平臺“飛槳”，研發出了持續學習的預訓練算法，使得模型的訓練不用每次重啓，而是增量的方式進行學習，極大節省了模型訓練成本。同時，基於ERNIE研發了新一代NLP開發平臺，幫助開發者迅速將最新技術成果應用於自身業務。
機器翻譯
近年來，機器同傳結合了語音處理技術和機器翻譯技術，無論前瞻研究還是實際系統應用，都取得了較大進展。
去年，百度機器翻譯團隊創新性地提出了語義單元驅動的機器同傳模型，並基於此發佈了業內首個語音到語音的同傳系統，提供低時延、高質量的同傳解決方案。
在談到百度機器同傳在發展過程中遇到的技術難點時，何中軍表示：
目前，機器同傳面臨最大的挑戰是如何在翻譯質量和時間延遲上取得平衡。與文本翻譯不同，同傳系統不能等到一個句子說完了再開始翻譯，那樣就失去了同傳的意義。而如果不等待較多的信息，翻譯質量就會嚴重下降。因此，百度從人類同傳譯員得到啓發，提出了基於語義信息單元的同傳模型。基本的出發點是將一個有確定意義的片段作爲翻譯的基本單元，使得模型既能夠獲得足夠的上下文信息，又能保證實時性。此外，百度還結合了語音合成技術，研發了語音到語言的同傳系統。如同身邊一位虛擬同傳譯員，帶上耳機，就可以聽到用自己母語播報出來的演講內容，獲得沉浸式體驗。
經過持續技術創新，如今，百度翻譯在多語言翻譯、同聲傳譯等方向上取得了多項突破，支持全球200種語言、近40000個方向的互譯；通過開放平臺，支持了超過30萬個開發者接入；機器同傳成功應用於幾十場大型國際會議。
NLP技術一直在變革
自然語言處理一直是人工智能領域的重要研究方向，由於人類語言的複雜、靈活、多樣，使得自然語言處理也充滿挑戰。近年來，在人工智能迅速發展的大背景下，自然語言處理也取得了長足的進步。
顯而易見的是，NLP領域的研究方法和範式發生了深刻的變革。深度學習與自然語言處理具體任務相結合，進一步挖掘了大數據的潛力，系統性能大幅提升。例如，機器翻譯主流技術由原來的統計方法轉變爲神經網絡的方法，翻譯質量的提升超過過去十年的總和；預訓練技術廣泛應用於NLP各任務，在國際權威的基準測試集GLUE上甚至超過了人類平均水平。預訓練（Pre-training）加精細化調整（Fine-tuning）幾乎成爲NLP的標配，使得具體領域的小樣本數據不再是一個個的孤島，而是能站在大數據這個巨人的肩膀上進一步發揮威力。
各領域技術邊界日趨模糊，互相取長補短，深度融合。 例如應用於機器翻譯的序列到序列建模技術，在語音、圖像處理等也都取得了很好的效果，而在圖像處理中廣泛使用的卷積神經網絡也被用來構建機器翻譯模型。如果將圖像作爲輸入，文字作爲輸出，則可以用序列到序列的技術進行圖文翻譯。語音、語言、視覺等技術深度融合，促進了跨模態的研究和應用。
應用場景大幅拓展、不斷深化。自然語言處理技術使得計算機在理解、對話、創作等方面的能力都大大加強，在搜索、金融、教育、客服等場景發揮越來越重要的作用。人們開始習慣於使用更加自然、口語化的表達來與計算機進行交流。 由此產生的多樣化、場景化的數據又反哺技術，用於訓練模型，提升效果。
開源開放的生態大大降低了NLP研發和應用門檻，促進了NLP的繁榮發展。比如“飛槳”平臺集成了NLP豐富的模型，同時還提供免費的算力，使得開發者可以很容易的接入，基於業界領先的技術和平臺開發系統，而不必從頭做起。再如我們聯合計算機學會、中文信息學會舉辦的“語言與智能”技術競賽，開放大規模真實場景數據，每年都吸引國內外數千支隊伍報名參加，共同推進技術發展與應用。
未來的NLP技術何去何從
在談到NLP技術未來的發展方向時，何中軍表示：
當前，NLP研究和應用呈現出百花齊放、百家爭鳴的繁榮發展態勢，開源開放的生態環境更加促進了技術發展和產業應用。可以說，技術進步與應用場景互相作用，共同發展。技術進步將進一步拓寬應用場景，而豐富的場景應用又驅動技術變革。隨着技術的進步，人們將享受到更多便利。
新的學習機制、跨模態通用表示、更好的學習和利用知識等將會是重要的發展方向。人工神經網絡帶來了學習範式的革新，然而人們至今沒有全面清晰地瞭解人類大腦的工作機理，腦科學、認知科學、人工智能等多學科交叉融合，探索新的學習機制將帶來新的技術進步。結合語音、視覺等技術的跨模態通用表示，將進一步增強模型的學習和表達能力，擴展NLP的研究和應用範疇。深入結合常識、世界知識、文化背景知識等將使得模型從淺層的符號運算進一步深入認知層面。當然，NLP面臨的挑戰遠不止以上幾點，在發展的道路上也註定不是一帆風順，需要我們攜手並肩，共同努力。