ELECTRA模型跟BERT的區別

原創 勿在浮沙筑高台LS 2020-02-22 00:47

綜合分析ELECTRA跟BERT模型的對比

思考：

1.類似GAN模型，但是由於梯度不能從判別模型到生成模型，所以只能綜合兩者的損失值對生成模型進行損失傳遞。

2.生成損失  對生成模型進行傳導

   生成損失+判別損失 對判別模型進行傳導

勿在浮沙築高臺LS
發佈了358 篇原創文章 · 獲贊 113 · 訪問量 82萬+
他的留言板 關注
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

Twitch表情中的情緒分析

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

Martin Anderson 2021-12-07 16:00:03

達摩院AliceMind上新！首箇中文表格預訓練模型發佈，已向業界開源

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

刘燕 2021-12-02 18:18:58

在元宇宙裏怎麼交朋友？Meta發佈跨語種交流語音模型，支持128種語言無障礙對話

{"type":"doc","content":[{"type":"blockquote","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null

凌敏 2021-11-23 14:03:53

人工智能時代，如何硬核玩音樂？| InfoQ《大咖說》

直播內容： 在人工智能技術迅速發展的當下，越來越多的領域被這項技術注入新的活力。作爲多媒體領域中不可缺少的組成部分，音樂對於人類的重要性不言而喻。值得一提的是，人工智能在音樂領域的研究早在多年前就已經開始了，並且也落地了很多成熟應用。 當前

InfoQ 中文站 2021-11-12 14:23:49

不是隻有數字化水平高，纔可以落地知識圖譜

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"blockq

罗燕珊 2021-11-11 15:23:53

騰訊發佈超大預訓練系統派大星，聚焦解決BERT等超大模型訓練時的“GPU內存牆”問題

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

InfoQ编辑部 2021-11-02 13:38:53

微軟和英偉達推出訓練語言模型MT-NLG：5300億參數量，是GPT-3的3倍

{"type":"doc","content":[{"type":"blockquote","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null

核子可乐 2021-10-12 14:13:53

谷歌推出Translatotron 2，一種沒有深度僞造潛力的語音到語音直接翻譯神經模型

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

Amreen Bawa 2021-09-10 14:09:01

放心，GPT-3不會“殺死”編程

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragr

Alberto Romero 2021-09-03 17:58:55

爲什麼神經網絡不適合理解自然語言 ？

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

Ben Dickson 2021-08-04 16:13:54

易聊科技宣佈在線客服系統IM永久免費，透視智能客服的商業化潛力

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"blockq

刘燕 2021-07-27 17:33:49

5個流行的自然語言處理庫及入門用法

{"type":"doc","content":[{"type":"blockquote","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null

Matthew Mayo 2021-07-26 10:43:50

AI虛擬人多模態交互落地難題如何破解？我們在樂享A.I.技術沙龍成都站找到了答案

{"type":"doc","content":[{"type":"blockquote","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null

蔡芳芳 2021-06-24 16:18:54

官宣！達摩院開源祕藏深度語言模型體系AliceMind，NLP正在走向大工業時代

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

刘燕 2021-06-22 14:48:49

讓普通人秒會編程？微軟在Power平臺上集成GPT-3，將自然語言直接變成現成代碼

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"typ

核子可乐 2021-05-28 17:48:57