簡介
- 這裏主要介紹PaddleClas中已經開源的常用移動端系列模型，PaddleClas的github repo：https://github.com/PaddlePaddle/PaddleClas。
- PaddleClas中包含了ShuffleNetV2以及MobileNet等移動端系列模型。
MobileNet系列
在MobileNetV1中，主要是使用了深度可分離卷積去減少計算量，提升精度；在V2中，則是引入了線性瓶頸塊以及逆殘差模塊，防止網絡中特徵的退化；MolbileNetV3中，也是使用了大量的可分離卷積，同時引入了之前咱們提到的SE注意力模塊，去區分特徵之間的重要程度；在網絡設計中，MolbileNetV3也基於網絡搜索，改進了一些模塊。此外，對網絡最後一個階段進行了改進，如下圖所示
- 改進之後，網絡結構精簡了許多，而模型的精度並沒有任何損失。此外，爲了進一步提升精度，MolbileNetV3中也引入了hard swish與hard sigmoid激活函數去改進特徵的激活過程。
- 下面給出了MV3的速度精度曲線，比MV1、MV2、ShuffleNet系列來說，還是有較大的優勢的。
ShuffleNet
-
PaddleClas裏只提供了ShuffleNetV2，在V1中，其實最主要的就是引入了channel shffle的情況，這個一方面降低了flops，另一方面也避免了直接進行分組卷積的話，通道之間的信息無法連通的問題。
![在這裏插入圖片描述]()
-
ShuffleNetV2中，也是強調了特徵之間交互的重要性，同時作者也總結了輕量級網絡設計的4大準則。
- 儘量保證輸入和輸出通道相同
- 謹慎使用分組卷積，雖然說group num越大，flops越小，但是這會帶來額外的通道拆分和重組耗時。
- 儘量減少網絡的分支數。
- 儘量減少elem-wise的操作，比如說relu、biaa、elem-add，elem-mul等。
