論文筆記——分佈式深度學習框架下基於性能感知的DBS—SGD算法

原創 GJ_007 2020-05-01 09:48

論文筆記——分佈式深度學習框架下基於性能感知的DBS—SGD算法

分佈式深度學習框架下基於性能感知的DBS—SGD算法

這篇論文裏各個細節都講得特別清楚。

充分考慮了各個客戶端端點的異構性，同時考慮了異步訓練過程中梯度過時得到問題。

對各節點的minibatch進行動態分配，保證了節點間每次迭代更新的時間基本一致，進而降低了節點的平均梯度過時值。

 

分佈式架構中的參數服務器

參數服務器的兩個操作：

  1. sumGradients 接受各個節點計算好的梯度值並進行累加操作
  2. applyUpdate：用計算好的梯度值乘以學習率並更新全局參數

異步更新策略

異步更新中，全局更新過程

Top-k更新策略

參數服務器在收到k個參數後進行更新

 

之前一些論文中已經證明了batch_size的值是對神經網絡性能產生影響的關鍵變量。

文中提出了一種動態調整各個節點batch_size值的方法。提出了DMB-SGD算法。

算法思想：

 


數據集使用MNIST和CIFAR-10

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

論文筆記之Structural Deep Network Embedding

本論文是kdd2016的一篇論文 主要的目的也是做node embedding。 主要的想法就是通過deep autoencode對node進行embedding，不過在在embedding的時候不僅考慮了1-hop的信息而且考慮

BVL10101111 2020-07-08 10:23:34

論文筆記之Fully Convolutional Networks for Semantic Segmentation

最近了解到了Image Semantic Segmentation方面的知識，在此做一個記錄。 這篇論文是2015cvpr的best paper，可以說是在cnn上做圖像語義分割的開山之作。 1.語義分割定義： 語義就是指物體的

BVL10101111 2020-07-08 10:23:34

MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications論文閱讀筆記

論文地址：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications MobileNet是爲移動和嵌入式設備提出的輕量級網絡

柴布奇诺 2020-07-07 12:29:52

【Paper Note】Representation Learning-Assisted Click-Through Rate Prediction (DeepMCP) 論文詳解

https://arxiv.org/pdf/1906.04365.pdf 背景 以往的點擊率預估模型像FM系列、WDN等模型，都只是考慮特徵和ctr之間的聯繫，阿里的這篇論文，提出了DeepMCP模型，不僅考慮了特徵和ctr之間

roguesir 2020-07-07 01:30:56

論文筆記——Federated learning framework for mobile edge computing networks

論文筆記——Federated learning framework for mobile edge computing networks 本論文着重研究的是聯邦學習應用於需求預測類問題。 一般來說，FL存在的一些問題： 非獨立同分布數據

GJ_007 2020-07-06 10:38:33

WWW19 A First Look at Deep Learning Apps on Smartphones

這篇文章有點像行業調查，對目前市場上APP中DL的各個特性進行統計，調研時間從2018.06 ～ 2018.09 大約三個月的時間，作者也說了後續會繼續跟進。 作者製作了一個可以嗅探Android apk中DL的軟件，同時對APP

phdsky 2020-07-06 03:56:57

【論文筆記-AAAI2020】Overcoming Language Priors in VQA via Decomposed Linguistic Representations

這篇博客會大概講解一下論文的工作，以及一些VQA 領域的近況，也會涉及到一些自己的見解。一些容易誤解的地方，我會盡量的表達細緻，方便讀者理解。如果需要深入研究，推薦自行再品讀該論文：https://jingchenchen.git

BierOne 2020-07-05 19:21:39

[NIPS 2019] Multi-Agent Common Knowledge Reinforcement Learning筆記

文章目錄前言IntroductionProblem settingCommon knowledgeLearning under common knowledge (LuCK)Field-of-view common knowled

强殖装甲凯普 2020-07-05 06:05:25

【論文筆記】TensorFlow深度神經網絡提前穩定特徵重要性

論文地址：Early Stabilizing Feature Importance for TensorFlow Deep Neural Networks 博客裏只給出一下論文中介紹的方法這一章節，論文中前面介紹了神經網絡中特徵

forever_24 2020-07-05 01:13:40

【論文筆記】CUSBoost：基於聚類的提升下采樣的非平衡數據分類

原論文地址：CUSBoost: Cluster-based Under-sampling with Boosting for Imbalanced Classification Abstract 普通的機器學習方法，對於非平衡數據

forever_24 2020-07-05 01:13:30

【論文筆記】Deep Survival: A Deep Cox Proportional Hazards Network

相關資源 原論文地址：here 論文中使用的深度生存分析庫：DeepSurv，是基於Theano 和 Lasagne庫實現的，支持訓練網絡模型，預測等功能。 考慮到DeepSurv庫中存在着一些錯誤以及未實現的功能，博主使用目前主

forever_24 2020-07-05 01:13:29

論文筆記2：A Single Model CNN for Hyperspectral Image Denoising

love_pegy 2020-07-04 23:28:40

unsupervised image segmentation by backpropagation-論文筆記

這是一個有趣的非監督分割方法 代碼短小精悍 直接說算法 1.首先對原圖進行超像素分割。 2.使用卷積網絡進行正向傳播。網絡輸出100channel，輸出和輸入大小相同。也就是說，每個輸入像素對應輸出100個像素。這10

sunyao_123 2020-07-04 18:40:16

Scaling Up Crowd-Sourcing to Very Large Datasets: A Case for Active Learning-筆記

  通過Active Learning（AL）算法，找到最小的需要標註的數據進行訓練，來標記未標記的數據。   AL必須滿需下邊的需求才能作爲crowd-sourced database的默認的最優策略： Generality

sunyao_123 2020-07-04 18:40:16

Bootstrap-Scaling Up Crowd-Sourcing to Very Large Datasets: A Case for Active Learning

論文Scaling Up Crowd-Sourcing to Very Large Datasets A Case for Active Learning對bootstrap做了介紹。 原書（B. Efron and R. J.

sunyao_123 2020-07-04 18:40:16