最近在看常見網絡的結構，比如AlexNet（2012），VGG（2014）,GoogleNet（2014），ResNet殘差網絡（2015）等等，其中VGG相比AlexNet做出的三個改進：
1）使用小的卷積核而不是大的（如選用三個3*3的卷積核而不是選一個7*7），減少參數量
2）使用了max pooling，避免了平均池化的模糊化效果
3）在全連接層使用dropout，隨機丟棄一部分神經元
這三個創新的地方使得VGGnet的參數大大減少，提高了識別率，但是由於使用了較多的卷積操作以及使用了三層全連接層（全連接層會大大增加參數量），因此速度變得緩慢。
這裏說一下關於一個7*7的卷積核可用3個3*3的卷積核代替的理解
