論文：Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks
論文：Asymptotic Soft Filter Pruning for Deep Convolutional Neural Networks
論文鏈接：https://arxiv.org/pdf/1808.06866.pdf
論文鏈接：https://arxiv.org/pdf/1808.07471.pdf
代碼鏈接：https://github.com/he-y/soft-filter-pruning
1.硬剪枝 and 軟剪枝
Hard Filter Pruning(HFP)：硬濾波器裁減方法，Soft Filter Pruning (SFP)：軟濾波器裁減方法。如下圖所示，所謂硬剪枝濾波器方法即每次進行濾波器裁減操作時會直接將需要裁減的濾波器移除網絡之外。而軟濾波器剪枝方法在每次進行濾波器裁減操作時僅僅將需要被裁減的濾波器參數置零，且該濾波器並不會被移除網絡之外，還會以完整的網絡形態繼續下一個epoch的訓練，這種方式使得利用軟剪枝法的網絡的學習能力更加強大。如下圖二所示，在裁剪比例相同的情況下，軟剪枝方法裁剪的適應性更強，也更加靈活，使得網絡儘可能的不降低性能。
更加具體來說，本文提出的SFP和HFP的不同點在於裁減掉的濾波器依然參與下一次迭代更新，SFP在每個epoch結束後會進行剪枝操作，剪枝完成後就會再訓一個epoch，然後繼續剪枝。之所以要採用SFP，很重要的一個原因是爲了提高模型的效果，因爲HFP那種方式相當於直接丟掉剪掉的濾波器，而SFP相對而言沒那麼極端，每次裁減的方式僅僅是將這些濾波器參數置零，這些濾波器仍然會參與下一個epoch的學習，知道最終訓練完成才真正將這些濾波器剪除，這也是這兩種剪枝方式名稱中soft和hard的含義。概念上的代碼示意如下所示。
for epoch in range(args.start_epoch, args.epochs):
m.model = model
m.if_zero()
m.init_mask(args.rate)
m.do_mask()
m.if_zero()
model = m.model
2. SFP and ASFP
爲了使得軟剪枝的訓練過程變得更加穩定，作者提出了一種漸近軟濾波器剪枝(ASFP)方法來加速深度神經網絡的推理過程。該方法在軟剪枝的基礎上，漸近地修剪網絡。在訓練過程中，先刪除幾個少量濾波器，然後隨着迭代的進行漸近地刪除更多的濾波器。在漸近剪枝的情況下，訓練集的信息會逐漸集中在剩餘的濾波器中，從而使後續的訓練和剪枝過程保持穩定。HFP，SFP和ASFP的整體概念如下圖所示。
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-2EcieSAD-1589968954125)(https://upload-images.jianshu.io/upload_images/5529997-653364843e065825.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
如下圖所示爲SFP算法的訓練過程，每次訓完一個epoch就要開始執行剪枝操作。在每次剪枝操作時，遍歷網絡的每一層，計算每一層的每個濾波器的L2-norm（L2範數），剪枝概率Pi和第i層的濾波器數量Ni+1相乘表示一個網絡層中被剪枝的濾波器個數，將濾波器的L2範數最低的Ni+1*Pi個濾波器剪枝，剪枝是通過將該濾波器的值置爲0來實現，從而完成第i層濾波器的剪枝操作。這樣隨着epoch的迭代，最終得到的模型會包含一些值爲0的濾波器，這些濾波器就可以直接去掉從而得到最終的模型。而ASFP與SFP的區別在於每次迭代時，濾波器的裁剪率會隨着迭代次數的增加，而由低到高的變化，直到增加到和SFP預設的裁剪率一致爲止。
3.結果分析
如下圖1展示的結果，顯示了軟剪枝方法相較於硬剪枝方法對網絡的性能保留能力更強。而下圖二展示的結果，顯示了漸進式軟剪枝方法的優越性。
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-Y2viAyFn-1589968954212)(https://upload-images.jianshu.io/upload_images/5529997-c80567ec86fa32c2.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]