- 分章節視頻鏈接：http://abcxueyuan.cloud.baidu.com/#/course_detail?id=15076&courseId=15076
- 完整視頻鏈接：http://play.itdks.com/watch/8591895
艾尼（ERNIE）是目前NLP領域的最強中文預訓練模型。
百度資深研發工程師龍老師，通過直播帶開發者走近最強中文NLP預訓練模型ERNIE，在線上解讀了一系列艾尼ERNIE的強大特性，並現場與同爲NLP模型的BERT直接PK，讓開發者連連感嘆，希望能把ERNIE運用到自己的工作與生活之中。
錯過了直播沒關係，讓我們來回顧一下課上都講了啥~
什麼是艾尼（ERINE）？
艾尼（ERNIE）是百度自研的持續學習語義理解框架，該框架支持增量引入詞彙（ lexical ）、語法 （ syntactic ） 、語義（ semantic ）等3個層次的自定義預訓練任務，能夠全面捕捉訓練語料中的詞法、語法、語義等潛在信息。
這些任務通過多任務學習對模型進行訓練更新，每當引入新任務時，該框架可在學習該任務的同時，不遺忘之前學到過的知識。這也意味着，該框架可以通過持續構建不同的預訓練任務，持續提升模型效果。因此ERNIE具有了更好的語義理解能力。
△ERNIE 2.0持續學習語義理解框架
ERNIE好用麼？
好不好用，擺事實才知道。
直播環節中，龍老師直接用填空題的形式展示了ERNIE與BERT在填空方面的表現。
例如題目：中國歷史上唯一的正統女皇帝是[？][？][？]，下面是直播中兩種算法的表現：
ERNIE的結果是“武則天”，而BERT的結果是“宋太帝”。ERNIE能輸出“武則天”說明它確實能學到“武則天”與“女皇帝”之間的關聯。
而BERT輸出的“宋太帝”雖然每個字“宋”、“太”、“帝”都與“皇帝”相關，但是連在一起就不是一個完整的詞，而且也不能與“女皇帝”的形成照應。
再如，陳曉的妻子是[？][？][？]
ERNIE用答案向我們證明了自己不只懂百科，也懂八卦。
通過上面的DEMO測試，我們也就引出了這樣一個問題：
ERNIE和BERT最大的區別是什麼？
ERNIE1.0能夠充分學習詞語、短語、命名實體識別中字與字之間的關係，將其整體進行掩碼。而BERT不具備這樣的能力。ERNIE2.0則通過持續構造輔助任務讓ERNIE進行學習，會的任務越多能力越強大。
這與BERT只靠一兩個任務進行預訓練的思路是完全不同的。就像小學生做題，一直只練一種題型肯定是不行的，需要多種題型都會做，既要有專項突破也要有綜合練習，這樣才能成爲真正的學霸。
隨着多樣的訓練數據的增加，ERNIE通過持續學習就能夠學得越來越好。
ERNIE作爲模型，也需要與深度學習框架的深度配合，才能實現最佳的效果。百度開源的深度學習框架飛槳（PaddlePaddle）對ERNIE模型有非常好的定製優化，使得其加速比達到77%，可以說是ERNIE背後的神助攻。
ERNIE藉助飛槳 PaddlePaddle 多機分佈式訓練優勢，利用 79億 tokens 訓練數據（約1/4的 XLNet 數據）和64張 V100（約1/8的 XLNet 硬件算力）訓練的 ERNIE 2.0預訓練模型不僅實現了在中英文16個任務上的最優效果，而且爲開發人員定製自己的 NLP 模型提供了方案。
目前，百度開源了 ERNIE 2.0的 Fine-tuning 代碼和英文預訓練模型。
本次基於艾尼ERNIE的直播，同步在愛奇藝、IT大咖說、BiliBili、虎牙、鬥魚五個平臺同步直播，收到了近3W開發者的關注與討論。
直播回放視頻已經上線，歡迎大家繼續學習~