原创 文本匹配算法總結

文本相似度計算總結 孿生神經網絡算法 思考: 1.孿生神經網絡算法什麼時候進行權重共享? 2.是否可以加attention+cnn進行增強。 3.孿生神經網絡算法可以通過網絡計算出句向量,新的句子出來的時候可以直接跟句向量進行計算相似度,

原创 docker 把本地文件拷貝到鏡像中

docker cp userDictAll.dic ee3cc69d4ddf:/ll/   點贊 收藏 分享 文章舉報 勿在浮沙築高臺LS 發佈了358 篇原創文章 · 獲贊

原创 rnn之dropout

rnn源碼解析 專門論文討論dropout dropout的應用問題 思考: dropout在兩個位置進行結果相差不多?爲什麼?跟論文不一致 點贊 收藏 分享 文章舉報 勿在浮沙

原创 深度學習數據歸一化的方法

normalization的介紹 詳細介紹LN BN的tensorflow調用方法 CNN使用BN方法 BN是對同一batch的樣本進行歸一化(使用高斯歸一化方法) BN是同一個batch的樣本進行歸一化如果batch特別小的時候就會出現

原创 小樣本學習綜述

說到小樣本學習一定要先看Meta Learning 小樣本學習的名詞解釋說明 MAML算法提供一個模型無關計算框架,怎麼做到模型無關,主要是loss計算不同,計算框架類似adaboost,裏面可以換各種算法 Model-Agnostic

原创 NLP比賽模型融合的思路

比賽模型融合思路 1.就是先訓練第一個模型然後凍結第一個模型然後訓練兩個模型,這種方法兩個模型最好屬於兩個體系,一個CNN一個RNN tensorflow模型凍結方法 2.訓練多個模型,然後用模型的預測結果[0.1,0.9]表示第二類,多

原创 貪心學院ELmo模型講解記錄

1.應該是(v晚上)是用(h2(3) + h2(2) + h2(1))加權平均獲得,權值根據下游的任務進行訓練獲取 點贊 收藏 分享 文章舉報 勿在浮沙築高臺LS 發佈了3

原创 torch中的tensor可以跟numpy中的array進行轉化

轉化學習連接 import numpy as np import torch numpy_data = np.arange(6).reshape([2, 3]) torch_data = torch.from_numpy(numpy

原创 文本分類之多標籤分類

多標籤分類綜述 意義 網絡新聞往往含有豐富的語義,一篇文章既可以屬於“經濟”也可以屬於“文化”。給網絡新聞打多標籤可以更好地反應文章的真實意義,方便日後的分類和使用。 難點 類標數量不確定,有些樣本可能只有一個類標,有些樣本的類標可能高達

原创 膠囊網絡學習鏈接

膠囊網絡學習博客 膠囊網絡文本分類代碼 膠囊網絡 其中求解cij使用動態路由算法進行計算 點贊 收藏 分享 文章舉報 勿在浮沙築高臺LS 發佈了358 篇原創文章 · 獲

原创 ELECTRA模型跟BERT的區別

綜合分析ELECTRA跟BERT模型的對比 思考: 1.類似GAN模型,但是由於梯度不能從判別模型到生成模型,所以只能綜合兩者的損失值對生成模型進行損失傳遞。 2.生成損失  對生成模型進行傳導    生成損失+判別損失 對判別模型進行傳

原创 Python代碼規範

google開源代碼規範 點贊 收藏 分享 文章舉報 勿在浮沙築高臺LS 發佈了358 篇原創文章 · 獲贊 113 · 訪問量 82萬+ 他的留言板

原创 貪心學院transformer模型講解記錄

1.FFN層和z1和z2層是不同的,FFN層是隔開的,權重不共享的,而Z1和Z2不是隔開的 2.Q,K,V是借鑑了搜索的思維在裏面,Q是query的意思,<K,V>是<key,value>的意思,Q值就是word應該映射一會進行搜索的值

原创 達摩院NLPer分享soft-lexicon

實體識別使用GCN+soft-Lexicon 1.lattice-lstm只能用在RNN中,而soft-Lexicon只是詞的embedding有改動啊,後面可以接入各種模型 2.lattice-lstm 裏面可以看出做各種attent

原创 executable file not found in $PATH bug解決方法

解決方案鏈接 點贊 收藏 分享 文章舉報 勿在浮沙築高臺LS 發佈了358 篇原創文章 · 獲贊 113 · 訪問量 82萬+ 他的留言板