BGD vs SGD vs mini-batch GD

原創 BVL10101111 2020-02-25 04:14

神經網絡中梯度下降，更新權值有多種選擇，BGD，SGD，mini-batch GD

BGD:所有樣本跑一次網絡後，更新權值。這種方式優點是，精確，和loss function對應。缺點就是效率不高，慢

SGD：跑一個樣本更新一次權值，優點:快，缺點：因爲用一個樣本就更新權值，很容易就找不到全局最優解。

mini-batch GD：更新跑一定兩樣本，更新一次權值，結合BGD和SGD綜合考慮。


更詳細的見 

Deep Learning 最優化方法之SGD

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

What is the Best Multi-Stage Architecture for Object Recognition?

Deep Learning論文筆記之（六）Multi-Stage多級架構分析 [email protected] http://blog.csdn.net/zouxy09            自己平時看了一些論文，但老感覺看完過

Kylin-Xu 2020-07-04 16:59:32

論文筆記之Structural Deep Network Embedding

本論文是kdd2016的一篇論文 主要的目的也是做node embedding。 主要的想法就是通過deep autoencode對node進行embedding，不過在在embedding的時候不僅考慮了1-hop的信息而且考慮

BVL10101111 2020-07-08 10:23:34

神經網絡 動量因子

其中動量係數一般取（0,1），直觀上理解就是要是當前梯度方向與前一步的梯度方向一樣，那麼就增加這一步的權值更新，要是不一樣就減少更新。 更詳細的介紹參見《DeepLearning最優化方法之Momentum（動量）》

BVL10101111 2020-07-08 10:23:34

Deep Learning 之 參數初始化

本文僅對常見的參數初始化方法進行總結（大部分內容來自deep learning一書），原理性的問題不進行過多的探討。 Deep Learning中參數初始化十分重要，一般來說有以下這些原因： 1.初始點的選取，有時候能夠決定算法

BVL10101111 2020-07-08 10:23:34

BERT預訓練模型的演進過程！(附代碼)

文章目錄1. 什麼是BERT2. 從Word Embedding到Bert模型的發展2.1 圖像的預訓練2.2 Word Embedding2.3 ELMO2.4 GPT2.5 BERT2.5.1 Embedding2.5.2 M

mantchs 2020-07-07 14:42:00

Transformer各層網絡結構詳解！面試必備！(附代碼實現)

文章目錄1. 什麼是Transformer2. Transformer結構2.1 總體結構2.2 Encoder層結構2.2.1 Positional Encoding2.2.2 Self-Attention2.2.3 Multi

mantchs 2020-07-07 14:42:00

XLNet預訓練模型，看這篇就夠了！(代碼實現)

文章目錄1. 什麼是XLNet2. 自迴歸語言模型（Autoregressive LM）3. 自編碼語言模型（Autoencoder LM）4. XLNet模型4.1 排列語言建模（Permutation Language Mod

mantchs 2020-07-07 14:41:58

seq2seq通俗理解----編碼器和解碼器(TensorFlow實現)

文章目錄1. 什麼是seq2seq2. 編碼器3. 解碼器4. 訓練模型5. seq2seq模型預測5.1 貪婪搜索5.2 窮舉搜索5.3 束搜索6. Bleu得分7. 代碼實現8. 參考文獻 1. 什麼是seq2seq 在⾃然語

mantchs 2020-07-07 14:41:58

【Model Log】模型評估指標可視化，自動畫Loss、Accuracy曲線圖工具，無需人工參與!

文章目錄1. Model Log 介紹2. Model Log 特性3. Model Log 演示地址4. Model Log 安裝5. Model Log 使用5.1 啓動 web 端5.2 Model Log API使用5.3

mantchs 2020-07-07 14:41:56

OpenCV學習教程入門篇

     OpenCV，是Inter公司開發的免費開源專門由於圖像處理和機器視覺的C/C++庫，英文全稱是Open Source Computer Vision。 1. 可視化語言Matlab與OpenCV都可以用於圖像處理，學哪種比較好

烧技湾 2020-07-07 04:51:46

NLP筆記 CS224n（1）—— 詞向量

詞向量 NLP 處理文本，所以在進行處理之前，要先解決文本的表示。文本由詞組成，本文討論了表示詞彙的幾種方案。 WordNet 這種方法基於如下思想：用詞彙的意義來代表詞。所以我們可以建立若干個集合，每個集合代表一組同義詞，每個詞

是不是测评机针对我 2020-07-06 12:37:25

NLP筆記 CS224n （2） —— 詞向量與詞傳感器

傳送門 Word2Vec Optimization 梯度下降，隨機梯度下降。 實質上是無監督學習，每個batch的最小單位可以是一組word2word的映射，輸入值是一箇中心詞，輸出值是一個其對應的outside詞，要學習是從中心

是不是测评机针对我 2020-07-06 12:37:24

自動微分(Automatic Differentiation)

目錄 什麼是自動微分 手動求解法 數值微分法 符號微分法 自動微分法 自動微分Forward Mode 自動微分Reverse Mode 參考引用 現代深度學習系統中（比如MXNet， TensorFlow等）都用到了一種技術——自動微分

allein_STR 2020-07-05 23:45:02

詞向量 — word2vec

       自然語言是一套用來表達含義的複雜系統。在這套系統中，詞是表義的基本單元。在機器學習中，如何使用向量表示詞？ 顧名思義，詞向量是用來表示詞的向量，通常也被認爲是詞的特徵向量。近年來，詞向量已逐漸成爲自然語言處理的基礎知識。 爲

lizzy05 2020-07-04 09:16:03

Pytorch實現一個用於學習正態分佈的GAN網絡

       2014 年，Ian Goodfellow 和他在蒙特利爾大學的同事發表了一篇震撼學界的論文《Generative Adversarial Nets》，這標誌着生成對抗網絡（GAN）的誕生，而這是通過對計算圖和博弈論的創新

lizzy05 2020-07-04 09:16:03