原创 【中文MRC】2019_IEEE_R-Trans: RNN Transformer Network for Chinese Machine Reading Comprehension
1 概述 動機 中文MRC任務需要分詞，但是分詞的話利用現有分詞工具不可避免地會產生分詞錯誤，從而對下游任務產生影響。 而分詞問題，可以通過結合local and global context信息來解決（也就是說中文短語在不同的上
2020-06-16 02:20:23
原创 【兼容調試】pytorch出現RuntimeError: CUDA out of memory時的一些解決方法
代碼方面 改小batch size 要適當刪除沒用的中間變量（雖然效果不大） 比如：del output train的時候，累加loss 一定要+=loss.item()，不然會把loss的history也加進去，又佔顯存
2020-06-16 02:20:23
1
原创 【閱讀筆記】機器閱讀理解書閱讀（上）——基礎篇
機器閱讀理解書閱讀（上）——基礎篇 書本來自朱晨光的《機器閱讀理解：算法與時間》 文章目錄機器閱讀理解書閱讀（上）——基礎篇數據集設計高質量的數據集自然語言處理基礎分詞中文分詞英文分詞字節對編碼BPE詞向量命名實體、詞性標註命名實
2020-05-24 10:18:14
1
原创 【總結向】MRC 經典模型與技術
MRC 經典模型與技術 未完待續 目錄MRC 經典模型與技術預備知識文章和問題表示文檔表示模型一：RNN表示模型二：基於注意力的文檔的表示問題的表示模型一：RNN表示模型二：基於注意力的問題表示（同上文文檔表示）模型三：雙向RNN
2020-03-24 21:11:47
原创 【論文源碼閱讀】BERT pytorch源碼結構關係圖
如圖，模型基本結構是BERT，是model，而BERTLM集成了Bert,NSP,MLM，是模型結構的核心。 在數據的處理中，核心是BERTDataset 訓練或者評估的時候，調用了BERTTrainer，他使用了BertDat
2020-03-02 14:15:02
原创 【博文筆記】Attentive Reader\Impatient Reader：機器閱讀理解之開山之作Teaching Machines to Read and Comprehend
來源 參考博客： 機器閱讀理解（看經典MRC模型與花式Attention） CNN&Dailymail：Teaching Machines to Read and Comprehend 論文： Teaching Machines
2020-02-21 05:55:56
原创 【論文翻譯+筆記】Neural Machine Reading Comprehension: Methods and Trends
1 Introduction 過去的MRC技術的特點：hand-crafted rules or features 缺點 不能泛化 performance may degrade due to large-scale datas
2020-02-21 05:55:56
原创 【論文筆記】AS Reader vs Stanford Attentive Reader
Attention Sum Reader Network 數據集 CNN&DailyMail 每篇文章作爲一個文檔（document），在文檔的summary中剔除一個實體類單詞，並作爲問題（question），剔除的實體類單詞即作
2020-02-21 05:55:56
原创 【論文筆記】Enhancing Pre-Trained Language Representations with Rich Knowledge for MRC
KT-NET——Knowledge and Text fusion NET KBs ：WrodNet + NELL ; distrubuted representations of KBs(KB embeddings). WordN
2020-02-21 05:55:55
原创 【論文筆記】QANET：Combining Local Convolution With Global Self-attention for Reading Comprehension
目錄 1. 簡要介紹 2. 模型 3. data augmentation by backtranslation 4. 實驗 1. 簡要介紹 模型創新點： （一）移除了RNN，核心就是卷積 + self-attenti
2020-02-21 05:55:55
原创 【算法學習】分組揹包問題
有N件物品和一個容量爲V的揹包，第i件物品的重量爲w[i]，價值爲v[i],這些物品被劃分成了若干組，每組中的物品互相沖突，最多選一件 問將哪些物品放入揹包中可以使揹包獲得最大的價值 對於每一組的物品，都可以看成是一個01揹包問題
2019-10-25 17:46:33
原创 【論文筆記copy】Attention總結三：self-attention與transformer
原文鏈接：https://blog.csdn.net/hufei_neo/article/details/90511408 self-attention與transformer講解 論文
2019-10-25 17:45:19
原创 【算法學習】動態規劃Leetcode習題
動態規劃開始比較繞，所以思考的時候先同自頂向下的方式思考清楚問題的結構，然後再反向自底向上+雙重循環，動態規劃的推導。 343. Integer Break 遞歸+計劃化搜索方法 自頂向下的方式 // 遞歸+記憶化搜索 cla
2019-10-25 17:45:19
原创 【論文筆記】Attention is all you need
在閱讀本文之前，關於self-attention的詳細介紹，比較全面的transformer總結看之前copy的這篇文章。 有了self-attention的基礎之後再看這篇論文，感覺就容易了。 論文：Attention is a
2019-10-25 17:45:19
原创 【算法學習】01揹包問題
來源是慕課網的實戰算法課程——動態規劃 01揹包問題 相當於還是求n個物品的組合！ 暴力解法： 每一件物品，都可以放進揹包，也可以不放進。複雜度是O( (2^n) * n )， 對於每一個組合，還要看看對應的總重是多少，看看是不
2019-10-25 17:45:19