論文筆記——Fair Resource Allocation in Federated Learning

論文筆記——Fair Resource Allocation in Federated Learning

原文論文鏈接——http://www.360doc.com/content/20/0501/14/10240337_909607047.shtml

聯邦學習領域一些新出論文，參考www.360doc.com/content/20/0501/14/10240337_909607047.shtml

介紹了幾篇論文，可以參考學習

聯邦學習的一大發展是FedAVG算法提出後，該算法提出後，相當於是一個比較具體的算法，後面相繼出現了一些針對該算法的在通信效率以及loss和準確度、收斂性方面一些缺點不足進行改進的論文。

由於聯邦學習是一個針對大量不同客戶端參與共同訓練的一個環境提出的。參與訓練的各個客戶端在計算資源、本地數據等方面都具有異構性，且每次中心服務器都是選擇一定批量的客戶端參與訓練，並不是每次都是所有客戶端參與訓練。因此，可能會導致不公平性，即一些具有良好資源的客戶端可能會經常大概率的被選擇，而一些較差的客戶端可能被選擇的概率較小。

此篇論文針對此現象提出了一種優化方法，確保各個客戶端能有較公平的概率參與訓練。本文提出了一種解決聯邦學習中公平問題的優化目標算法 q-FFL（q-Fair Federated Learning）。q-FFL 通過引入 q 參數化的權重，實現了對不同設備損耗的重新加權計算，使得損耗較高的設備具有較高的相對權重，從而減小準確度分佈方差，實現準確度更公平的分佈。q-FFL 無需手工調整公平性約束，它構建的是一個靈活的框架，在該框架中可以根據所需的公平性自動調整目標。此外，本文提出了一種輕量級且可擴展的分佈式 q-FFL 解決方法：q-FedAvg，該方法考慮了聯邦學習架構的重要特徵，例如通信效率和設備的低參與性等。

論文思路如下：

 

實驗

論文中使用了凸模型和非凸模型，在 TensorFlow 中實現所有代碼，用一個服務器和 m 個設備模擬一個聯邦學習網絡。