AlexNet

AlexNet 論文

《ImageNet Classification with Deep Convolutional Neural Networks》

AlexNet網絡結構描述

Conv1 :輸入$227*227*3$，卷積核大小爲$11*11*3$，移動步長爲$4$，數量爲$96$個，輸出$55*55*96$；
Relu1:輸出$55*55*96$；
Pool1:池化核大小爲$3*3$，移動步長爲$2$，輸出$27*27*96$;
Norm1:local_size =$ 5$,輸出$27*27*96$;
Conv2:輸入$27*27*96$，卷積核大小爲$5*5*96$，移動步長爲$1$，數量爲$256$，輸出$27*27*256$；
Relu2:輸出$27*27*256$;
Pool2:池化核大小爲$3*3$，移動步長爲$2$，輸出$13*13*256$;
Conv3:輸入$13*13*256$，輸出$13*13*384$；
Conv4:輸入$13*13*384$，輸出$13*13*384$;
Conv5:輸入$13*13*384$，輸出$6*6*256$;
Fc6:$4096$個神經元，輸出爲$4096*1$;
Fc7:輸出$4096*1$;
Fc8:輸出$1000*1$;

AlexNet特點

• 成功使用ReLU作爲CNN的激活函數,解決了Sigmoid在網絡較深時的梯度彌散問題。
• 訓練時使用Dropout隨機忽略一部分神經元，以避免模型過擬合。在AlexNet中主要是最後幾個全連接層使用了Dropout。
• 在CNN中使用重疊的最大池化(OverlappingPooling)。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果。並且AlexNet中提出讓步長比池化核的尺寸小，這樣池化層的輸出之間會有重疊和覆蓋，提升了特徵的豐富性。
• 提出了LRN(Local ResponseNormalization)層，對局部神經元的活動創建競爭機制，使得其中響應比較大的值變得相對更大，並抑制其他反饋較小的神經元，增強了模型的泛化能力。