CNN從2012年的AlexNet發展至今，科學家們發明出各種各樣的CNN模型，一個比一個深，一個比一個準確，一個比一個輕量。對近幾年一些具有變革性的工作進行簡單盤點，附帶這些操作的來源，全面瞭解一下CNN的前進歷程。
注：主要搬運了一些博客內容，當然自己也梳理了一番，
目錄
一、卷積只能在同一組進行嗎？-- Group convolution、
三、每層卷積只能用一種尺寸的卷積核？-- Inception結構
六、卷積操作時必須同時考慮通道和區域嗎？-- DepthWise操作
七、分組卷積能否對通道進行隨機分組？-- ShuffleNet
九、能否讓固定大小的卷積核看到更大範圍的區域？-- Dilated convolution
十、卷積核形狀一定是矩形嗎？-- Deformable convolution 可變形卷積核
一、卷積只能在同一組進行嗎？-- Group convolution、
Group convolution 分組卷積，最早在AlexNet中出現，由於當時的硬件資源有限，訓練AlexNet時卷積操作不能全部放在同一個GPU處理，因此作者把feature maps分給多個GPU分別進行處理，最後把多個GPU的結果進行融合。
如果輸入feature map尺寸爲C∗H∗W，卷積核有N個，輸出feature map與卷積核的數量相同也是N，每個卷積核的尺寸爲C∗K∗K，N個卷積核的總參數量爲N∗C∗K∗K，輸入map與輸出map的連接方式如下圖左所示：
。假設輸入feature map的尺寸仍爲C∗H∗W，輸出feature map的數量爲N個，如果設定要分成G個groups，則每組的輸入feature map數量爲C/G，每組的輸出feature map數量爲N/G，每個卷積核的尺寸爲C/G∗K∗K，卷積核的總數仍爲N個，每組的卷積核數量爲NG，卷積核只與其同組的輸入map進行卷積，卷積核的總參數量爲N∗C/G∗K∗K，可見，總參數量減少爲原來的 1/G，其連接方式如上圖右所示，group1輸出map數爲2，有2個卷積核，每個卷積核的channel數爲4，與group1的輸入map的channel數相同，卷積核只與同組的輸入map卷積，而不與其他組的輸入map卷積。
如上圖：
左邊參數：12*k*k*6 =72*k*K
右邊參數：4*k*k*2*3 =24*K*K
分三組，參數減少三倍
參考博客：https://www.cnblogs.com/shine-lee/p/10243114.html
AlexNet地址：http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
AlexNet解讀：https://www.jianshu.com/p/182073af7d95
二、卷積核一定越大越好？-- 3×3卷積核
AlexNet中用到了一些非常大的卷積核，比如11×11、5×5卷積核，之前人們的觀念是，卷積核越大，receptive field（感受野）越大，看到的圖片信息越多，因此獲得的特徵越好。雖說如此，但是大的卷積核會導致計算量的暴增，不利於模型深度的增加，計算性能也會降低。於是在VGG（最早使用）、Inception網絡中，利用2個3×3卷積核的組合比1個5×5卷積核的效果更佳，同時參數量（3×3×2+1 VS 5×5×1+1）被降低，因此後來3×3卷積核被廣泛應用在各種模型中。
三、每層卷積只能用一種尺寸的卷積核？-- Inception結構
傳統的層疊式網絡，基本上都是一個個卷積層的堆疊，每層只用一個尺寸的卷積核，例如VGG結構中使用了大量的3×3卷積層。事實上，同一層feature map可以分別使用多個不同尺寸的卷積核，以獲得不同尺度的特徵，再把這些特徵結合起來，得到的特徵往往比使用單一卷積核的要好，谷歌的GoogleNet，或者說Inception系列的網絡，就使用了多個卷積核的結構：
建議花點時間把Inception網絡看一下
如上圖所示，一個輸入的feature map分別同時經過1×1、3×3、5×5的卷積核的處理，得出的特徵再組合起來，獲得更佳的特徵。但這個結構會存在一個嚴重的問題：參數量比單個卷積核要多很多，如此龐大的計算量會使得模型效率低下。這就引出了一個新的結構：
四、怎樣才能減少卷積層參數量？-- Bottleneck
發明GoogleNet的團隊發現，如果僅僅引入多個尺寸的卷積核，會帶來大量的額外的參數，受到Network In Network中1×1卷積核的啓發，爲了解決這個問題，他們往Inception結構中加入了一些1×1的卷積核，如圖所示：
Network In Network這篇文章有點老，理解1*1卷積就成
加入1×1卷積核的Inception結構
根據上圖，我們來做個對比計算，假設輸入feature map的維度爲256維，要求輸出維度也是256維。有以下兩種操作：
256維的輸入直接經過一個3×3×256的卷積層，輸出一個256維的feature map，那麼參數量爲：256×3×3×256 = 589,824
256維的輸入先經過一個1×1×64的卷積層，再經過一個3×3×64的卷積層，最後經過一個1×1×256的卷積層，輸出256維，參數量爲：256×1×1×64 + 64×3×3×64 + 64×1×1×256 = 69,632。足足把第一種操作的參數量降低到九分之一！
1×1卷積核也被認爲是影響深遠的操作，往後大型的網絡爲了降低參數量都會應用上1×1卷積核。
五、越深的網絡就越難訓練嗎？-- Resnet殘差網絡
還可以這樣理解：分組卷積分組數量等於輸入通道數
傳統的卷積層層疊網絡會遇到一個問題，當層數加深時，網絡的表現越來越差，很大程度上的原因是因爲當層數加深時，梯度消散得越來越嚴重，以至於反向傳播很難訓練到淺層的網絡。爲了解決這個問題，何凱明大神想出了一個“殘差網絡”，使得梯度更容易地流動到淺層的網絡當中去，而且這種“skip connection”能帶來更多的好處，這裏可以參考一個PPT：極深網絡
理解殘差：https://zhuanlan.zhihu.com/p/28124810?group_id=883267168542789632
繼往開來：DenseNet
自Resnet提出以後，ResNet的變種網絡層出不窮，都各有其特點，網絡性能也有一定的提升。本文介紹的最後一個網絡是CVPR 2017最佳論文DenseNet，論文中提出的DenseNet（Dense Convolutional Network）主要還是和ResNet及Inception網絡做對比，思想上有借鑑，但卻是全新的結構，網絡結構並不複雜，卻非常有效，在CIFAR指標上全面超越ResNet。可以說DenseNet吸收了ResNet最精華的部分，並在此上做了更加創新的工作，使得網絡性能進一步提升。
閃光點：
- 密集連接：緩解梯度消失問題，加強特徵傳播，鼓勵特徵複用，極大的減少了參數量
六、卷積操作時必須同時考慮通道和區域嗎？-- DepthWise操作
標準的卷積過程可以看上圖，一個2×2的卷積核在卷積時，對應圖像區域中的所有通道均被同時考慮，問題在於，爲什麼一定要同時考慮圖像區域和通道？我們爲什麼不能把通道和空間區域分開考慮？Xception網絡就是基於以上的問題發明而來。我們首先對每一個通道進行各自的卷積操作，有多少個通道就有多少個過濾器。得到新的通道feature maps之後，這時再對這批新的通道feature maps進行標準的1×1跨通道卷積操作。這種操作被稱爲 “DepthWise convolution” ，縮寫“DW”。
因此，一個depthwise操作比標準的卷積操作降低不少的參數量，同時論文中指出這個模型得到了更好的分類效果
這種操作是相當有效的，在imagenet 1000類分類任務中已經超過了InceptionV3的表現，而且也同時減少了大量的參數，我們來算一算，假設輸入通道數爲3，要求輸出通道數爲256，兩種做法：
-
直接接一個3×3×256的卷積核，參數量爲：3×3×3×256 = 6,912
-
DW操作，分兩步完成，參數量爲：3×3×3 + 3×1×1×256 = 795，又把參數量降低到九分之一！
因此，一個depthwise操作比標準的卷積操作降低不少的參數量，同時論文中指出這個模型得到了更好的分類效果。
七、分組卷積能否對通道進行隨機分組？-- ShuffleNet
在AlexNet的Group Convolution當中，特徵的通道被平均分到不同組裏面，最後再通過兩個全連接層來融合特徵，這樣一來，就只能在最後時刻才融合不同組之間的特徵，對模型的泛化性是相當不利的。爲了解決這個問題，ShuffleNet在每一次層疊這種Group conv層前，都進行一次channel shuffle，shuffle過的通道被分配到不同組當中。進行完一次group conv之後，再一次channel shuffle，然後分到下一層組卷積當中，以此循環。
經過channel shuffle之後，Group conv輸出的特徵能考慮到更多通道，輸出的特徵自然代表性就更高。另外，AlexNet的分組卷積，實際上是標準卷積操作，而在ShuffleNet裏面的分組卷積操作是depthwise卷積，因此結合了通道洗牌和分組depthwise卷積的ShuffleNet，能得到超少量的參數以及超越mobilenet、媲美AlexNet的準確率！
要注意的是，Group conv是一種channel分組的方式，Depthwise +Pointwise是卷積的方式，只是ShuffleNet裏面把兩者應用起來了。因此Group conv和Depthwise +Pointwise並不能劃等號。
八、通道間的特徵都是平等的嗎？ -- SEnet
無論是在Inception、DenseNet或者ShuffleNet裏面，我們對所有通道產生的特徵都是不分權重直接結合的，那爲什麼要認爲所有通道的特徵對模型的作用就是相等的呢？ 這是一個好問題，於是，ImageNet2017 冠軍SEnet就出來了。
一組特徵在上一層被輸出，這時候分兩條路線，第一條直接通過，第二條首先進行Squeeze操作（Global Average Pooling），把每個通道2維的特徵壓縮成一個1維，從而得到一個特徵通道向量（每個數字代表對應通道的特徵）。然後進行Excitation操作，把這一列特徵通道向量輸入兩個全連接層和sigmoid，建模出特徵通道間的相關性，得到的輸出其實就是每個通道對應的權重，把這些權重通過Scale乘法通道加權到原來的特徵上（第一條路），這樣就完成了特徵通道的權重分配。作者詳細解釋可以看這篇文章：專欄 | Momenta詳解ImageNet 2017奪冠架構SENet。
九、能否讓固定大小的卷積核看到更大範圍的區域？-- Dilated convolution
標準的3×3卷積核只能看到對應區域3×3的大小，但是爲了能讓卷積核看到更大的範圍，dilated conv使其成爲了可能。dilated conv原論文中的結構如圖所示：
上圖b可以理解爲卷積核大小依然是3×3，但是每個卷積點之間有1個空洞，也就是在綠色7×7區域裏面，只有9個紅色點位置作了卷積處理，其餘點權重爲0。這樣即使卷積核大小不變，但它看到的區域變得更大了。詳細解釋可以看知乎回答：如何理解空洞卷積（dilated convolution）
十、卷積核形狀一定是矩形嗎？-- Deformable convolution 可變形卷積核
圖來自微軟亞洲研究院公衆號
傳統的卷積核一般都是長方形或正方形，但MSRA提出了一個相當反直覺的見解，認爲卷積核的形狀可以是變化的，變形的卷積核能讓它只看感興趣的圖像區域 ，這樣識別出來的特徵更佳。
啓發與思考
現在越來越多的CNN模型從巨型網絡到輕量化網絡一步步演變，模型準確率也越來越高。現在工業界追求的重點已經不是準確率的提升（因爲都已經很高了），都聚焦於速度與準確率的trade off，都希望模型又快又準。因此從原來AlexNet、VGGnet，到體積小一點的Inception、Resnet系列，到目前能移植到移動端的mobilenet、ShuffleNet（體積能降低到0.5mb！），我們可以看到這樣一些趨勢：
卷積核方面：
-
大卷積核用多個小卷積核代替；
-
單一尺寸卷積核用多尺寸卷積核代替；
-
固定形狀卷積核趨於使用可變形卷積核；
-
使用1×1卷積核（bottleneck結構）。
卷積層通道方面：
-
標準卷積用depthwise卷積代替；
-
使用分組卷積；
-
分組卷積前使用channel shuffle；
-
通道加權計算。
卷積層連接方面：
-
使用skip connection，讓模型更深；
-
densely connection，使每一層都融合上其它層的特徵輸出（DenseNet）
啓發
類比到通道加權操作，卷積層跨層連接能否也進行加權處理？bottleneck + Group conv + channel shuffle + depthwise的結合會不會成爲以後降低參數量的標準配置？
轉自：https://blog.csdn.net/fl63zv9zou86950w/article/details/78689065