CNN學習筆記之LeNet-5模型各層參數理解

LeNet-5 模型是Yann LeCun 教授於1998年在論文《Gradient-based learning applied to document recognition》中提出的,它是第一個成功應用於數字識別問題的卷積神經網絡。在 MNIST 數據集上,LeNet-5 模型可以達到大約99.2%的正確率。LeNet-5 模型共有7層,如下圖所示:





第1層  卷積層

輸入圖片尺寸:32x32x1;
輸出圖片尺寸:28x28x6;(filter=5*5, strides=1, padding='VALID')
卷積層參數:5x5x1x6+6=156個參數,其中6個爲偏置參數;
卷積層連接:(5x5+1)x28x28x6=122304個連接。

第2層 池化層

輸入圖片尺寸:28x28x6;
輸出圖片尺寸:14x14x6;(filter=2*2, strides=2, padding='SAME')
池化層參數:2x6=12個參數;
池化層連接:(4+1)x14x14x6=5880個連接。

第3層 卷積層

輸入圖片尺寸:14x14x6;
輸出圖片尺寸:10x10x16;(filter=5*5, strides=1, padding='VALID')
卷積層參數:(5x5x3+1)x6 + (5x5x4 + 1) x 3 + (5x5x4 +1)x6 + (5x5x6+1)x1 = 1516個參數;
卷積層連接:1516x10x10=151600個連接。
Note: C3的前6個特徵圖以S2中3個相鄰的特徵圖子集爲輸入。接下來6個特徵圖以S2中4個相鄰特徵圖子集爲輸入。然後的3個以不相鄰的4個特徵圖子集爲輸入。最後一個將S2中所有特徵圖爲輸入。這樣C3層有1516個可訓練參數和151600個連接。

第4層 池化層

輸入圖片尺寸:10x10x16;
輸出圖片尺寸:5x5x16;(filter=2*2, strides=2, padding='SAME')
池化層參數:2x16=32個參數;
池化層連接:(4+1)x5x5x16=2000個連接。

第5層 卷積層(實質上因爲濾波器大小爲5x5,等價於全連接層)

輸入圖片尺寸:5x5x16;
輸出圖片尺寸:1x1x120;
卷積層參數:(5x5x16+1)x120=48120個參數;
卷積層連接:(5x5x16+1)x120=48120個連接,與參數大小一致。

第6層 全連接層

輸入圖片尺寸:1x1x120;
輸出圖片尺寸:1x1x84;
全連接層參數:(120+1)x84=10164個參數;
全連接層連接:(120+1)x84=10164個連接,與參數大小一致。

第7層 全連接層

輸入圖片尺寸:1x1x84;
輸出圖片尺寸:1x1x10;
全連接層參數:(84+1)x10=850個參數;
全連接層連接:(84+1)x10=850個連接,與參數大小一致。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章