原创 BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer
Abstract： 根據用戶歷史的行爲信息，對用戶動態的偏好衍變進行建模，是對推薦系統產生的巨大挑戰。現有算法使用序列神經網絡，只能從左向右，利用單向信息進行建模。儘管這些放大得到了很好的效果，但是他們設定的嚴格順序是不實際的。因此，本文
2019-06-22 10:54:37
45
原创 Synchronous Bidirectional Inference for Neural Sequence Generation
abstract： 目前seq2seq任務大多是從左到右一個詞一個詞生成的 神經網絡的方法，比如LSTM或者self-attention，可以充分利用歷史信息，但是不能利用未來信息（future information），從而導致結果的不
2019-06-14 22:48:01
原创 神經網絡的小筆記
1.epoch和batch的區別 a.epoch是指模型的迭代次數，每一個epoch是模型的一次迭代，使用整個數據集迭代一次 b.batch發生在一次epoch中，指的是每次參數更新僅使用batch_size個訓練樣本。一次epoch需要
2019-03-09 15:18:31
原创 BERT模型
1、背景 語言模型的與訓練在自然語言處理的任務中有着重要的作用。 1.1 自然語言處理的任務 a.句子層面（sentence-level）=>判斷句子之間的關係 自然語言推理（natural language inference） 自然語
2018-11-30 15:32:03
3
原创 aiml使用記錄
1.使用場景 適用於簡單對話，並且問題具有較大相似性。目前用於專業問題的回答，所以大多是單輪對話，即問題-答案(略顯智障)。 2.常用tag aiml是一個html標籤類型的文檔，其中最常用的標籤有<pattern>和<temp
2018-09-07 15:22:32
3
原创 Attention機制的小理解
1.傳統的encode-decode模型 輸入序列： 輸出序列： 中間語義變量 所以對於，也就是 這就表明輸入序列的每一個元素對於輸出序列的每一個元素的作用是等價的，這顯
2018-09-06 07:36:40
原创 Attention Is All You Need
摘要 目前的序列轉化模型都是基於編碼器-解碼器的複雜CNN和RNN。目前最好的模型就是將編碼器與解碼器利用注意力機制（attention mechanism）連接起來。本文提出一種簡單的模型結構，遺棄了CNN和RNN，僅僅使用注意
2018-09-06 07:36:40
原创 Effective Use of Word Order for Text Categorization with Convolutional Neural Networks
Effective Use of Word Order for Text Categorization with Convolutional Neural Networks 背景 CNN充分用於圖像數據去探索圖像的1D結構，
2018-08-30 00:31:18
1