原创 文本匹配算法總結
文本相似度計算總結 孿生神經網絡算法 思考: 1.孿生神經網絡算法什麼時候進行權重共享? 2.是否可以加attention+cnn進行增強。 3.孿生神經網絡算法可以通過網絡計算出句向量,新的句子出來的時候可以直接跟句向量進行計算相似度,
原创 docker 把本地文件拷貝到鏡像中
docker cp userDictAll.dic ee3cc69d4ddf:/ll/ 點贊 收藏 分享 文章舉報 勿在浮沙築高臺LS 發佈了358 篇原創文章 · 獲贊
原创 rnn之dropout
rnn源碼解析 專門論文討論dropout dropout的應用問題 思考: dropout在兩個位置進行結果相差不多?爲什麼?跟論文不一致 點贊 收藏 分享 文章舉報 勿在浮沙
原创 深度學習數據歸一化的方法
normalization的介紹 詳細介紹LN BN的tensorflow調用方法 CNN使用BN方法 BN是對同一batch的樣本進行歸一化(使用高斯歸一化方法) BN是同一個batch的樣本進行歸一化如果batch特別小的時候就會出現
原创 小樣本學習綜述
說到小樣本學習一定要先看Meta Learning 小樣本學習的名詞解釋說明 MAML算法提供一個模型無關計算框架,怎麼做到模型無關,主要是loss計算不同,計算框架類似adaboost,裏面可以換各種算法 Model-Agnostic
原创 NLP比賽模型融合的思路
比賽模型融合思路 1.就是先訓練第一個模型然後凍結第一個模型然後訓練兩個模型,這種方法兩個模型最好屬於兩個體系,一個CNN一個RNN tensorflow模型凍結方法 2.訓練多個模型,然後用模型的預測結果[0.1,0.9]表示第二類,多
原创 貪心學院ELmo模型講解記錄
1.應該是(v晚上)是用(h2(3) + h2(2) + h2(1))加權平均獲得,權值根據下游的任務進行訓練獲取 點贊 收藏 分享 文章舉報 勿在浮沙築高臺LS 發佈了3
原创 torch中的tensor可以跟numpy中的array進行轉化
轉化學習連接 import numpy as np import torch numpy_data = np.arange(6).reshape([2, 3]) torch_data = torch.from_numpy(numpy
原创 文本分類之多標籤分類
多標籤分類綜述 意義 網絡新聞往往含有豐富的語義,一篇文章既可以屬於“經濟”也可以屬於“文化”。給網絡新聞打多標籤可以更好地反應文章的真實意義,方便日後的分類和使用。 難點 類標數量不確定,有些樣本可能只有一個類標,有些樣本的類標可能高達
原创 膠囊網絡學習鏈接
膠囊網絡學習博客 膠囊網絡文本分類代碼 膠囊網絡 其中求解cij使用動態路由算法進行計算 點贊 收藏 分享 文章舉報 勿在浮沙築高臺LS 發佈了358 篇原創文章 · 獲
原创 ELECTRA模型跟BERT的區別
綜合分析ELECTRA跟BERT模型的對比 思考: 1.類似GAN模型,但是由於梯度不能從判別模型到生成模型,所以只能綜合兩者的損失值對生成模型進行損失傳遞。 2.生成損失 對生成模型進行傳導 生成損失+判別損失 對判別模型進行傳
原创 Python代碼規範
google開源代碼規範 點贊 收藏 分享 文章舉報 勿在浮沙築高臺LS 發佈了358 篇原創文章 · 獲贊 113 · 訪問量 82萬+ 他的留言板
原创 貪心學院transformer模型講解記錄
1.FFN層和z1和z2層是不同的,FFN層是隔開的,權重不共享的,而Z1和Z2不是隔開的 2.Q,K,V是借鑑了搜索的思維在裏面,Q是query的意思,<K,V>是<key,value>的意思,Q值就是word應該映射一會進行搜索的值
原创 達摩院NLPer分享soft-lexicon
實體識別使用GCN+soft-Lexicon 1.lattice-lstm只能用在RNN中,而soft-Lexicon只是詞的embedding有改動啊,後面可以接入各種模型 2.lattice-lstm 裏面可以看出做各種attent
原创 executable file not found in $PATH bug解決方法
解決方案鏈接 點贊 收藏 分享 文章舉報 勿在浮沙築高臺LS 發佈了358 篇原創文章 · 獲贊 113 · 訪問量 82萬+ 他的留言板