原创 Deep Learning 最優化方法之RMSProp
本文是Deep Learning 之 最優化方法系列文章的RMSProp方法。主要參考Deep Learning 一書。 整個優化系列文章列表： Deep Learning 之 最優化方法 Deep Learning 最優化方
2020-02-25 04:14:02
原创 BGD vs SGD vs mini-batch GD
神經網絡中梯度下降，更新權值有多種選擇，BGD，SGD，mini-batch GD BGD:所有樣本跑一次網絡後，更新權值。這種方式優點是，精確，和loss function對應。缺點就是效率不高，慢 SGD：跑一個樣本更新一次權值，優點
2020-02-25 04:14:02
42
原创 機器學習備忘錄（持續記錄）
有時候，看一些機器學習相關的概念，可能是當時懂的不是很深刻，過了一段時間就又忘了，因此在這裏，將所遇到的知識，在這裏一點點記錄，僅作爲備忘錄。 1.negative sampling 往往在word2vec中運用到，在用softmax計算
2018-08-22 13:07:52
原创 論文筆記之Synthetic Data for Text Localisation in Natural Images（人工合成帶有文本的圖片）
Synthetic Data for Text Localisation in Natural Images是VGG實驗室2016年CVPR的一篇論文。 這篇論文所做的主要貢獻有兩點： 1.將word人工的嵌入到自然圖片中，人工生成帶有
2018-08-22 13:07:51
23
原创 論文筆記之 Collaborative Deep Learning for Recommender Systems
這篇論文是KDD2015的一篇用DL去做RS的論文。想法挺有意思的。 看過論文的同學都知道整體的模型可以用下圖表示： 這裏只講講整體的思路與理解： 1）這是一個CF和CBF結合用bayes去做 2）CBF主要是體現在整個用SDAE提
2018-08-22 13:07:51
16
原创 Attention Model（mechanism） 的 套路
最近刷了一些attention相關的paper(照着here的列表+自己搜的paper)，網上相關的資料也有很多，在此只講一講自己對於attention的理解，力求做到簡潔明瞭。 一.attention 的本質 attention其實就
2018-08-22 13:07:51
原创 推薦系統經典論文文獻及業界應用
Survey方面的文章及資料 Adomavicius G, Tuzhilin A. Toward the next generation of recommender systems: A survey of the state-
2018-08-22 13:07:51
27
原创 論文筆記之Label-Free Supervision of Neural Networks with Physics and Domain Knowledge
這一篇是AAAI 2017的best paper。出自Stanford ，隨手查了一下，二作Stefano Ermon指導的AAAI 2017的另一篇paper，拿了Best Student Paper Award (CompSust T
2018-08-22 13:07:51
3
原创 論文筆記之Dynamic Routing Between Capsules
相信大家最近被hinton的這篇capsule的論文刷屏了，這篇論文是發表在nips2017上的。 其實capsule這個概念最早是hinton的一篇發表在ICANN 2011上的論文中提出的，不過當初沒有引起太大的關注。今年的早些時候，
2018-08-22 13:07:51
原创 Caffe學習之caffe具體運行流程分析
最近一段時間因實習需要，學習了一下caffe，在此陸陸續續記錄一些和caffe相關的筆記。 我們都知道要運行一個caffe model的時候需要在命令行下輸入： ./build/tools/caffe train -solver xxx.
2018-08-22 13:07:51
1
原创 TensorFlow 後臺輸出卡在Raising pool_size_limit_ from 100 to 110好久
有時候運行TensorFlow代碼，後臺一直在打印如下信息，而自己的train信息沒有任何顯示： tensorflow/core/common_runtime/gpu/pool_allocator.cc:244] PoolAllocato
2018-08-22 13:07:51
5
原创 OpenCV 相關函數記錄彙總（持續更新）
此文，將作爲本人在實踐中，遇到的opencv相關函數的一個彙總，並不斷更新，方便後續查詢。python和c++均可找到相關對應。 當然在此首推opencv官方文檔 圖像操作 函數名 作用 參考文檔 minAreaRect
2018-08-22 13:07:38
2
原创 caffe學習之layer_factory(工廠方法)
在caffe中，創建layer對象，是通過工廠方法來創建的。 相關代碼，均定義在caffe/include/caffe/layer_factory.hpp，以及其實現類。 一.LayerRegistry 主要的實現是由LayerReg
2018-08-22 13:07:38
原创 NRL: network representation learning & NE: network embedding. 相關論文總結
Must-read papers on NRL/NE. NRL: network representation learning. NE: network embedding. Survey papers: Representati
2018-08-22 13:07:38
3
原创 Deep Learning 之 訓練過程中出現NaN問題
相信很多人都遇到過訓練一個deep model的過程中，loss突然變成了NaN。在這裏對這個問題做一個總結。 一般來說，出現NaN有以下幾種情況： 1.如果在迭代的100輪以內，出現NaN，一般情況下的原因是因爲你的學習率過高，需
2018-08-22 13:07:38
5