論文筆記——Model Pruning Enables Efficient Federated Learning on Edge Devices
原文見論文題目
論文將剪枝與聯邦學習結合起來。
針對服務器端是否有可用樣本分爲：基於樣本剪枝和無樣本剪枝
稱以下過程爲一個聯邦：
聯邦剪枝
在初始剪枝之後，除了標準的聯邦學習過程外，系統還可以進一步執行重複的訓練和剪枝操作。這裏，系統執行一個或幾個聯合（即使用聯合學習過程進行模型訓練），然後執行修剪步驟，從模型中刪除一定數量的小參數。我們稱之爲聯邦修剪。
一次性剪枝
與服務器端的剪枝相比，聯邦剪枝的好處在於它結合了客戶端可用本地數據的影響，這反映在聯邦學習過程中通過分佈式梯度下降進行的模型更新中。聯合修剪步驟是可選的。當我們只使用基於服務器的初始剪枝而不使用聯邦剪枝時，本文稱之爲一次性剪枝。
四種修剪情況：
（i）基於樣本和一次性修剪，
（ii）少樣本和一次性修剪，
（iv）基於樣本和聯邦修剪，
（iv）少樣本和聯邦修剪。
實驗
實驗研究了四種不同的模型和數據集，分別是LeNet-300-100和Conv-FashionMNIST，聯邦擴展MNIST（FEMNIST）數據集的Conv FEMNIST和CIF AR10數據集的VGG11。
