原创 神經網絡學習筆記（七）：線性迴歸模型（上）
先對迴歸模型中的概念做一下解釋： 1、對隨機變量中的一個變量有着特別的興趣；這一隨機變量被稱爲依賴變量，或者響應(response)。（類似於函數概念中的應變量） 2、剩下的隨機變量稱爲獨立變量，或者回歸量(regressor)。
2018-08-26 01:26:19
3
原创 神經網絡學習筆記（四）
正如同對於不同的事物我們從自己周圍的環境中學習的方法不一樣，神經網絡的學習也是如此。廣義上講，我們可以按照學習過程的不同將神經網絡分爲兩大類：有導師學習（Learn with a teacher）以及無導師學習（Learn wit
2018-08-26 01:26:17
原创 神經網絡學習筆記（十）:多層感知機（中）--BP算法
多層感知機監督訓練在線學習的流行正是由於反向傳播（BP算法）算法的提出而得到了加強，BP算法可以說是神經網絡的核心算法。 如下圖所示，神經元j被它左邊的一層神經元產生的一組函數信號所饋給。因此神經元j的
2018-08-26 01:26:17
2
原创 使用MLP解決OCR問題（OpenCV）（上）
在之前有關神經網絡的文章中，大部分都是對神經網絡的概念闡述以及一些公式的推導，比較枯燥且較難直接應用到實際中，今天就來介紹一下神經網絡的一個簡單的實際應用——解決OCR問題。LeCun等大神已經使用CNN算法解決了很多OC
2018-08-26 01:26:16
1
原创 神經網絡學習筆記（五）:感知機
感知機在神經網絡發展的歷史上佔據着重要的位置：它是第一個從算法上完整描述的神經網絡。它的發明者Rosenblatt是一位心理學家。 感知機是用於線性可分模式（即不同的類別可由超平面完全分割）分類的最簡單的神經網絡模型，基本上它是
2018-08-26 01:26:16
原创 使用s3fs將S3存儲桶掛載在Linux的文件系統下
亞馬遜的S3（Simple Storage Service）服務是一個服務於互聯網用戶的存儲類服務。類似於網盤一樣，可以通過網絡隨時隨地的獲取存儲的數據。用戶可以使用亞馬遜提供的S3 Management Console
2018-08-26 01:26:16
3
原创 Deep Learning學習筆記（一）:卷積神經網絡（CNN）
Deep Learning 在形式表現上非常類似多層感知機，甚至可以說是多層感知機的一個發展，但是DL又在神經網絡的結構上體現了劃時代的思維方式。下面就來看一個具體的例子，DL非常著名的網絡模型：卷積神經網絡（CNN）。
2018-08-26 01:26:16
7
原创 使用MLP解決OCR問題（OpenCV）（下）
分類模型： 分類模型涉及的一個比較關鍵的問題就是輸出的10維向量是如何與具體的類別掛鉤的。實際上：10維向量的每一位都代表一類，在對於訓練集的表達中，如果輸入數據是0，則10維向量的第一位賦值爲1，其餘均爲0。即0對應[1
2018-08-26 01:26:16
2
原创 神經網絡學習筆記（九）:多層感知機（上）
在前面我們所討論的Rosenblatt感知機，其本質是一個單層神經網絡。但這一網絡侷限於線性可分模式的分類問題。而由Widrow和Hoff(1960)提出的最小均方算法(LMS)也是基於權值可調的單個線性神經元。同樣限制了這一
2018-08-26 01:26:16
原创 Mac下安裝OpenCV3.0—包含opencv_contrib模塊
OpenCV3.0正式版終於發佈了，但肯定有很多小夥伴跟我一樣，發現按照以往的方式安裝以後並不能體驗這個版本最新引入的各種高大上算法。原來是因爲很多最新引入的算法模塊還不算穩定，不能當做官方版來發布（http://o
2018-08-26 01:26:16
1
原创 神經網絡學習筆記（十一）:多層感知機（下）
在上一章節中介紹了多層感知機最關鍵的BP算法，在這一節中主要對包括BP算法在內的多層感知機的一些細節問題進行概述。 激活函數 BP算法中計算多層感知機每一個需要神經元的激活函數的導數知識。從根本上講激活函數
2018-08-26 01:26:15
原创 神經網絡學習筆記（三）
在上一篇文章中提到了神經網絡的結構，但是究竟選擇怎麼樣的神經網絡，怎麼去架構神經網絡，這就要涉及到本節所要討論的問題：信息的表達。如何將獲得的信息在神經網絡中表達，並最終表達出想要的信息。就如同我們看到一件衣服，這件衣服在視網膜
2018-08-26 01:26:14
原创 神經網絡學習筆記（一）
神經網絡（Neural Networks）是受到人類大腦對於外界事物認知方式的啓發建立的機器學習算法，也叫人工神經網絡（ArtificialNeural Networks）。 我們先來認識構成神經網絡的基本單元：神經
2018-08-26 01:26:14
原创 Caffe:深度學習中 epoch，[batch size], iterations的區別
在大部分深度學習架構中都拋不開三個概念epoch，[batch size], iterations；接下來就對這三個概念逐一解釋一下 one epoch：所有的訓練樣本完成一次Forword運算以及一次BP運算 batch si
2018-08-26 01:26:14
原创 神經網絡學習筆記（六）:感知機收斂定理
感知機收斂定理： 針對初始條件W(0)=0。假設對於n=1，2，...， ，且輸入向量屬於子集 ，顯然，迭代過程中，感知機不能正確對X(1)，X(2)...進行正確分類，在η(n)=1的情況下，權值每次迭代都需要修正：
2018-08-26 01:26:14