BERT加速，BERT inference加速，BERT實用加速

原創 guotong1988 2020-04-28 12:47

從頭預訓練一個針對的那1個任務的3層BERT，
保持預訓練和inference時的一致性，速度加速4倍，精度不變。

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

TensorFlow 使用上個模型輸出的一個向量表示 來給RNN生成一段文本

import tensorflow as tf from tensorflow.contrib.rnn import LSTMCell cell = LSTMCell(128,state_is_tuple=False) ini

guotong1988 2020-07-03 23:26:00

Linformer 閱讀筆記

背景，普通的self-attention Q 是 n x d K 是 n x d V 是 n x d QK是 n x n 繼而 (QK)V 是n x d 計算量最大的在於QK出n x n這步，固算Attention爲O(n^2)複

guotong1988 2020-06-29 21:55:46

論文速遞 | 一份超全易懂的深度學習在圖像去噪的綜述

近日哈爾濱工業大學、廣東工業大學、清華大學與臺灣國立清華大學等研究人員共同撰寫一篇深度學習在圖像去噪上的綜述並在arxiv發表，該綜述系統地總結圖像去噪的重要性、圖像去噪技術的發展、傳統的機器學習和深度學習的圖像去噪技術的優缺點以

极市平台 2020-06-21 20:17:55

NS-CL 摘要速覽

https://openreview.net/group?id=ICLR.cc/2019/Conference THE NEURO-SYMBOLIC CONCEPT LEARNER: INTERPRETING SCENES, WO

guotong1988 2020-06-21 19:00:30

how powerful are GNNs? 摘要速覽

HOW POWERFUL ARE GRAPH NEURAL NETWORKS? https://openreview.net/group?id=ICLR.cc/2019/Conference 我們對GNN的表示性質和侷限瞭解有限，

guotong1988 2020-06-21 19:00:30

BA-NET 摘要速覽

https://openreview.net/group?id=ICLR.cc/2019/Conference BA-NET: DENSE BUNDLE ADJUSTMENT NETWORKS 本文介紹一個網絡結構，來解決 str

guotong1988 2020-06-21 19:00:30

ICLR 2020 ENERGY BASED MODEL 摘要速覽

YOUR CLASSIFIER IS SECRETLY AN ENERGY BASED MODEL AND YOU SHOULD TREAT IT LIKE ONE https://openreview.net/group?id=

guotong1988 2020-06-21 19:00:29

Spherical Text Embedding 摘要速覽

https://github.com/yumeng5/Spherical-Text-Embedding https://arxiv.org/abs/1911.01196 無監督文本向量表示技術在NLP任務很重要，然而之前的文本向量

guotong1988 2020-06-21 19:00:29

LambdaNet 摘要速覽

LambdaNet: Probabilistic Type Inference using Graph Neural Networks https://openreview.net/group?id=ICLR.cc/2020/Co

guotong1988 2020-06-21 19:00:29

sh run安裝cuda失敗，Finished with code: 256

要先禁用nouveau CentOS保證lsmod |grep nouveau不顯示信息 CentOS用runfile安裝還是比rpm好點

guotong1988 2020-06-21 19:00:29

deterministic variational inference for robust BNNs 摘要速覽

DETERMINISTIC VARIATIONAL INFERENCE FOR ROBUST BAYESIAN NEURAL NETWORKS https://openreview.net/group?id=ICLR.cc/201

guotong1988 2020-06-21 19:00:29

一種貌似可以解決textmatch模型不好構造負例的方案

就是使用生成式模型，text generation， 本來是判斷TextA和TextB1-TextB100的match score，再對100個進行rank， 改爲TextA生成TextB，直接生成出score最高的TextB，

guotong1988 2020-06-29 21:55:46

複述抽取生成doc02-複述抽取生成流程圖

基於前面doc01確定的思路，本文檔給出複述抽取生成的流程圖，附件PDF以及圖片所示。

仰望-NLQ 2020-06-21 21:31:50

短文本分類數據集（英文）

https://opendata.stackexchange.com/questions/6080/data-sets-for-short-text-classification

guotong1988 2020-06-21 19:00:29

imdb、SST-1、SST-2、yelp-2013、yelp-2014 文本分類數據集

https://github.com/JerrikEph/Capsule4TextClassification/blob/master/data/downloadDataset.md https://download.csdn.n

guotong1988 2020-06-21 19:00:29