卷積神經網絡CNN代碼解析
deepLearnToolbox-master是一個深度學習matlab包，裏面含有很多機器學習算法，如卷積神經網絡CNN，深度信念網絡DBN，自動編碼AutoE
ncoder（堆棧SAE，卷積CAE）的作者是 RasmusBerg Palm
今天給介紹deepLearnToolbox-master中的CNN部分。
- DeepLearnToolbox-master中CNN內的函數：
該模型使用了mnist的數字mnist_uint8.mat作爲訓練樣本，作爲cnn的一個使用樣例，每個樣本特徵爲一個28*28=的向量。
- 網絡結構爲：
-讓我們來分析各個函數： 一、TestexampleCNN
三、cnntrain.m.
四、cnnff.m.
五、cnnbp.m.
五、cnnapplygrads.m.
六、cnntest.m.
一、TestexampleCNN:
1設置CNN的基本參數規格，如卷積、降採樣層的數量，卷積核的大小、降採樣的降幅
2 cnnsetup函數 初始化卷積核、偏置等
3 cnntrain函數 訓練cnn，把訓練數據分成batch，然後調用
3.1 cnnff 完成訓練的前向過程，
3.2 cnnbp計算並傳遞神經網絡的error，並計算梯度（權重的修改量）
3.3 cnnapplygrads 把計算出來的梯度加到原始模型上去
4 cnntest函數，測試當前模型的準確率
該模型採用的數據爲mnist_uint8.mat，
含有70000個手寫數字樣本其中60000作爲訓練樣本，10000作爲測試樣本。
把數據轉成相應的格式，並歸一化。
- 設置網絡結構及訓練參數
- 初始化網絡，對數據進行批訓練，驗證模型準確率
- 繪製均方誤差曲線
二、Cnnsetup.m
該函數你用於初始化CNN的參數。
設置各層的mapsize大小，
初始化卷積層的卷積核、bias
尾部單層感知機的參數設置
bias統一設置爲0
權重設置爲：-1~1之間的隨機數/sqrt（6/（輸入神經元數量+輸出神經元數量））
對於卷積核權重，輸入輸出爲fanin, fanout
fan_out= net.layers{l}.outputmaps * net.layers{l}.kernelsize ^ 2;
%卷積核初始化，1層卷積爲16個卷積核，2層卷積一共612=72個卷積核。對於每個卷積輸出featuremap，
%fan_in= 表示該層的一個輸出map，所對應的所有卷積核，包含的神經元的總數。125,625
fan_in =numInputmaps * net.layers{l}.kernelsize ^ 2;
fin=125 or 625
fout=1625 or 61225
net.layers{l}.k{i}{j} =(rand(net.layers{l}.kernelsize) - 0.5) * 2 * sqrt(6 / (fanin + fanout));
1、卷積降採樣的參數初始化
2、尾部單層感知機的參數（權重和偏量）設置：
三、cnntrain.m
該函數用於訓練CNN。
生成隨機序列，每次選取一個batch（50）個樣本進行訓練。
批訓練：計算50個隨機樣本的梯度，求和之後一次性更新到模型權重中。
在批訓練過程中調用：
Cnnff.m 完成前向過程
Cnnbp.m 完成誤差傳導和梯度計算過程
Cnnapplygrads.m把計算出來的梯度加到原始模型上去
四、cnnff.m
1、取得CNN的輸入
2、兩次卷積核降採樣層處理
3、尾部單層感知機的數據處理，需要把subFeatureMap2連接成爲一個(44)12=192的向量，但是由於採用了50樣本批訓練的方法，subFeatureMap2被拼合成爲一個192*50的特徵向量fv；
Fv作爲單層感知機的輸入，全連接的方式得到輸出層
五、cnnbp.m
該函數實現2部分功能，計算並傳遞誤差，計算梯度
1、計算誤差和LossFunction
2、計算尾部單層感知機的誤差
3、把單層感知機的輸入層featureVector的誤差矩陣，恢復爲subFeatureMap2的4*4二維矩陣形式
插播一張圖片：
4、誤差在特徵提取網絡【卷積降採樣層】的傳播
如果本層是卷積層，它的誤差是從後一層（降採樣層）傳過來，誤差傳播實際上是用降採樣的反向過程，也就是降採樣層的誤差複製爲2*2=4份。卷積層的輸入是經過sigmoid處理的，所以，從降採樣層擴充來的誤差要經過sigmoid求導處理。
如果本層是降採樣層，他的誤差是從後一層（卷積層）傳過來，誤差傳播實際是用卷積的反向過程，也就是卷積層的誤差，反捲積（卷積核轉180度）卷積層的誤差，原理參看插圖。
5、計算特徵抽取層和尾部單層感知機的梯度
五、cnnapplygrads.m
該函數完成權重修改，更新模型的功能
更新特徵抽取層的權重 weight+bias
更新末尾單層感知機的權重 weight+bias
六、cnntest.m
驗證測試樣本的準確率
