原创 《推薦系統實踐》算法純享（附代碼鏈接）（二）—— 協同過濾篇
上一部分介紹了《推薦系統實踐》中關於推薦系統常用的一些評測指標，那麼從這一部分開始，將真正進入到推薦算法部分。 這個系列分爲如下幾個部分： 《推薦系統實踐》算法純享（附代碼鏈接）（一）—— 評價指標篇 《推薦系統實踐》算法純享（附
2020-06-16 14:56:35
原创 XLM解讀（論文 + PyTorch源碼）
這篇論文是Facebook在BERT的基礎上發展出來的Cross-Lingual版本，即多語的。BERT的github上實際上也有一個多語版本的，但卻沒有提到是怎麼訓練的，也沒有任何的信息。這裏的XLM提出了一些策略用於多語言學習
2020-06-16 14:56:33
4
原创 Transformer解讀（論文 + PyTorch源碼）
Transformer模型早在2017年就出現了，當時實驗室的分享也有關於這個的。但我當時沒有意識到這篇論文的厲害之處，聽名字感覺像是那種曇花一現的論文，也沒有關注它。直到最近出現了BERT這一神物之後，方纔後知後覺此時Trans
2020-06-16 14:56:33
原创 《推薦系統實踐》算法純享（附代碼鏈接）（一）—— 評價指標篇
最近看了項亮大大的《推薦系統實踐》一書，想借此入門推薦系統。書中有很多關於推薦系統的基礎性介紹，內容由淺入深，相當平易近人。這系列博客將主要針對書中的算法部分進行梳理，並附自己實現的代碼鏈接，以備日後查閱。 這個系列分爲如下幾個部
2020-06-16 14:56:33
3
原创 Transformer-XL解讀（論文 + PyTorch源碼）
前言 目前在NLP領域中，處理語言建模問題有兩種最先進的架構：RNN和Transformer。RNN按照序列順序逐個學習輸入的單詞或字符之間的關係，而Transformer則接收一整段序列，然後使用self-attention機制
2020-06-16 14:56:32
9
原创 《推薦系統實踐》算法純享（附代碼鏈接）（三）—— 冷啓動篇
在上一篇博客裏面分享的是《推薦系統實踐》中協同過濾相關的算法，對此還不熟悉的讀者可以戳這裏。 關於這個系列會分爲如下幾個部分： 《推薦系統實踐》算法純享（附代碼鏈接）（一）—— 評價指標篇 《推薦系統實踐》算法純享（附代碼鏈接）（
2020-06-16 14:56:32
原创 ELMo解讀（論文 + PyTorch源碼）
ELMo的概念也是很早就出了，應該是18年初的事情了。但我仍然是後知後覺，居然還是等BERT出來很久之後，才知道有這麼個東西。這兩天才仔細看了下論文和源碼，在這裏做一些記錄，如果有不詳實的地方，歡迎指出~ 文章目錄前言一. ELM
2020-06-16 14:56:32
27
原创 NLP領域中的預訓練模型雜談
近期NLP領域發生了很多大事，基本都離不開Pretrain這個字眼，比如大名鼎鼎的BERT、GPT等，筆者也是在近期擼了 7篇 近一年內相關的論文及它們的源碼，這裏就是對這7篇論文進行一個大總結，用更有條理的方式理清這些模型的關係
2020-06-16 14:56:32
2
原创 基於GMMs-HMMs的語音識別原理
剛入門ASR的時候一直能聽到HMM模型的相關字眼，這裏就補一下用GMMs-HMMs進行語音識別的原理，雖然這個方法很古老，而且已經近乎被神經網絡所取代，但它背後的思想仍然值得我們去了解和學習~ 筆者看了一些教程，包括課程講義、博客
2019-06-10 19:06:32
1
原创 ASR中常用的語音特徵之FBank和MFCC（原理 + Python實現）
一步一步講解和實現ASR中常用的語音特徵——FBank和MFCC的提取，包括算法原理、代碼和可視化等。 完整Jupyter Notebook鏈接：https://github.com/Magic-Bubble/SpeechProc
2019-06-10 19:06:21
335
原创 基於DNN-HMMs的語音識別原理
在上一篇博客基於GMMs-HMMs的語音識別原理中，介紹了第一代較爲成熟的GMMs-HMMs語音識別模型。但隨着神經網絡技術的發展，後面又出現了基於DNN-HMMs的語音識別模型，一句話概括就是用DNN代替之前的GMMs，有更好的
2019-06-10 19:06:21
4
原创 MT-DNN解讀（論文 + PyTorch源碼）
前一段時間，看到微軟發佈了用於學習通用語言嵌入的多任務深度神經網絡模型MT-DNN，可謂是緊隨BERT之後，結合他們之前的MTL工作以及BERT的優勢，在10項NLU任務上的表現都超過了BERT。 PS：預感到BERT的起飛又將給NL
2019-04-25 22:25:20
49
原创 BERT解讀（論文 + TensorFlow源碼）
N個月前BERT就頻繁出現在筆者的視野中，只知道是Google出品的神奇好用的pretrain模型，但一聽到要用TPU去訓練，就有種“拜拜了您嘞”了感覺。不過看到近期大家在談論的，在研究的，無一不是圍繞BERT等一系列的pretrai
2019-04-25 22:25:10
33
原创 GPT解讀（論文 + TensorFlow實現）
GPT這篇論文，我還是在GPT-2出來了之後，被它能續寫《紅樓夢》這一事件而震驚，所以才統一看了一下這兩篇論文。這倆都是OpenAI出的，也是用pretrain+fintune的套路進行處理。 文章目錄一. GPT原理1. 無監督pr
2019-04-25 00:25:35
22
原创 《NEURAL READING COMPREHENSION AND BEYOND》解讀（陳丹琦博士論文）
之前在聽standford的cs224n自然語言處理課程的時候，就有一段是請陳丹琦來這邊講她最近的一些工作，我記得還是在embedding上的進展。聽的時候，就覺得像是一箇中國小姐姐，後面在這篇爆款博士論文出來的時候，就特意去查了一下
2019-04-25 00:25:35