7.1 BP神經網絡
手推BP神經網絡見PPT
7.2 卷積神經網絡介紹
幾個知識點：
1.卷積神經網絡(Convolutional Neural Network, CNN)是深度學習技術中極具代表的網絡結構之一。CNN相較於
傳統的算法避免了對圖像複雜的前期預處理過程(提取人工特徵等),可以直接輸入原始圖像。
2.CNN中的局部連接(Sparse Connectivity)和權值共享(Shared Weights)方法。
局部連接是卷積的出現，代替了全連接。（減少了參數：之前1000x1000的圖像全連接需要1000x1000的神經參數，現在10x10的卷積核權值共享的話的話只需要這麼多參數）
權值共享是一個卷積核提取一個特徵（Feature Map），多個特徵需要多個卷積核。
3.卷積神經網絡(CNN)由輸入層、卷積層、激活函數、池化層、全連接層組成,即INPUT-CONV-RELU-POOL-FC
4.激活函數：給參數添加非線性因素。
Sigmoid函數、Tanh函數、Relu函數、Leaky Relu函數、Elu函數、Maxout函數
5.池化層：進行壓縮減少特徵數量
maxpooling和average pooling
6.正則化：通過降低模型的複雜度,通過在cost函數上添加一個正則項的方式來降低overfitting,主要有L1和L2兩種方式。
7.Dropout:通過隨機刪除神經網絡中的神經元來解決overfitting問題,在每次迭代的時候,只使用部分神經元訓練模型獲取W和b的值。
8.Flatten 層：將卷積-池化之後的feature map 展平正向量，方便計算全連接。
9.全連接層：大向量通過全連接變成需要的維度的小向量。
10.softmax分類：將小向量進行softmax，然後送入loss函數。