轉載來源：https://blog.csdn.net/u011974639/article/details/79199306
MobileNetV1
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
原文地址：MobileNetV1
代碼:
Abstract
MobileNets是爲移動和嵌入式設備提出的高效模型。MobileNets基於流線型架構(streamlined)，使用深度可分離卷積(depthwise separable convolutions,即Xception變體結構)來構建輕量級深度神經網絡。
論文介紹了兩個簡單的全局超參數，可有效的在延遲和準確率之間做折中。這些超參數允許我們依據約束條件選擇合適大小的模型。論文測試在多個參數量下做了廣泛的實驗，並在ImageNet分類任務上與其他先進模型做了對比，顯示了強大的性能。論文驗證了模型在其他領域(對象檢測，人臉識別，大規模地理定位等)使用的有效性。
Introduction
深度卷積神經網絡將多個計算機視覺任務性能提升到了一個新高度，總體的趨勢是爲了達到更高的準確性構建了更深更復雜的網絡，但是這些網絡在尺度和速度上不一定滿足移動設備要求。MobileNet描述了一個高效的網絡架構，允許通過兩個超參數直接構建非常小、低延遲、易滿足嵌入式設備要求的模型。
Related Work
現階段，在建立小型高效的神經網絡工作中，通常可分爲兩類工作：
-
**壓縮預訓練模型。**獲得小型網絡的一個辦法是減小、分解或壓縮預訓練網絡，例如量化壓縮(product quantization)、哈希(hashing )、剪枝(pruning)、矢量編碼( vector quantization)和霍夫曼編碼(Huffman coding)等；此外還有各種分解因子(various factorizations )用來加速預訓練網絡；還有一種訓練小型網絡的方法叫蒸餾(distillation )，使用大型網絡指導小型網絡，這是對論文的方法做了一個補充，後續有介紹補充。
-
直接訓練小型模型。 例如Flattened networks利用完全的因式分解的卷積網絡構建模型，顯示出完全分解網絡的潛力；Factorized Networks引入了類似的分解卷積以及拓撲連接的使用；Xception network顯示瞭如何擴展深度可分離卷積到Inception V3 networks；Squeezenet 使用一個bottleneck用於構建小型網絡。
本文提出的MobileNet網絡架構，允許模型開發人員專門選擇與其資源限制(延遲、大小)匹配的小型模型，MobileNets主要注重於優化延遲同時考慮小型網絡，從深度可分離卷積的角度重新構建模型。
Architecture
Depthwise Separable Convolution
MobileNet是基於深度可分離卷積的。通俗的來說，深度可分離卷積乾的活是：把標準卷積分解成深度卷積(depthwise convolution)和逐點卷積(pointwise convolution)。這麼做的好處是可以大幅度降低參數量和計算量。分解過程示意圖如下：
輸入的特徵映射4×4×1×3+1×1×3×5,即參數量減少了