原创 Theano學習筆記(五)——配置設置與編譯模型

配置 config模塊包含了各種用於修改Theano的屬性。在Theano導入時,許多屬性都會被檢查,而有些屬性是只讀模式。 一般約定,在用戶代碼內部config模塊的屬性不應當被修改。 Theano的這些屬性都有默認值,但是你也可以在你

原创 Neural Networks for Machine Learning by Geoffrey Hinton (3)

Neural Networks for Machine Learning by Geoffrey Hinton (3) 訓練感知機的方法並不能用以訓練隱含層 訓練感知機的方式是每次直接修正權重,最終得到滿足所有凸錐裏的權重。可行解的平均

原创 『RNN 監督序列標註』筆記-第三章 神經網絡

『RNN 監督序列標註』筆記-第三章 神經網絡 多層感知機(Multilayer Perceptrons) 多層感知機的輸出僅僅取決於當前的輸入,因此 MLPs 更適用於模式分類而非序列標註任務。僅僅具有單隱含層的 MLPs 就具有了以任

原创 Neural Networks for Machine Learning by Geoffrey Hinton (6)

Overview of mini-batch gradient descent 錯誤面 Full Batch Learning 的收斂性問題 學習率問題 隨機梯度下降法 2類學習算法 基本批梯度下降法 各種批梯度下降法中的小技巧

原创 概率圖模型(PGM)學習筆記(五)——模板模型

模板模型(Template Models)主要包括模板變量(TemplateVariables)和語言(Language)。   模板模型可以應用於無限大的貝葉斯網絡; 模板變量是被多次複用的變量: 如:地點(時間)、基因型(人物)、

原创 Neural Networks for Machine Learning by Geoffrey Hinton (1~2)

機器學習能良好解決的問題 識別模式識別異常預測 大腦工作模式 人類有個神經元,每個包含個權重,帶寬要遠好於工作站。 神經元的不同類型 Linear (線性)神經元  Binary threshold (二值)神經元  R

原创 深度學習(Deep Learning),自然語言處理(NLP)及其表達(Representation)

深度學習(Deep Learning),自然語言處理(NLP)及其表達(Representation) 簡介 過去幾年中,深度神經網絡在模式識別領域佔據着統治地位。他們在諸多計算機視覺任務領域,將之前的最好算法徹底擊敗。語言識別也正朝着這

原创 Neural Networks for Machine Learning by Geoffrey Hinton (5)

爲什麼物體識別很困難 獲得視角不變性的方法 不變特徵方法The invariant feature approach 合理歸一化方法The judicious normalization approach 強制歸一化方法The b

原创 Caffe——清晰高效的深度學習(Deep Learning)框架

Caffe(http://caffe.berkeleyvision.org/)是一個清晰而高效的深度學習框架,其作者是博士畢業於UC Berkeley的賈揚清(http://daggerfs.com/),他目前在Google工作。  Ca