參考資料：
1.標準梯度下降法和隨機梯度下降法的區別
2.梯度下降與隨機梯度下降
主要區別概括
1.標準下降時在權值更新前彙總所有樣例得到的標準梯度，隨機下降則是通過考察每次訓練實例來更新。
2.對於步長 η的取值，標準梯度下降的η比隨機梯度下降的大。因爲標準梯度下降的是使用準確的梯度，理直氣壯地走，隨機梯度下降使用的是近似的梯度，就得小心翼翼地走，怕一不小心誤入歧途南轅北轍了。
3.當E（w）有多個局部極小值時，隨機梯度反而更可能避免進入局部極小值中。
標準梯度下降的問題：
普通的梯度下降算法在更新迴歸係數時要遍歷整個數據集，是一種批處理方法，這樣訓練數據特別忙龐大時，可能出現如下問題：
1）收斂過程可能非常慢；
2）如果誤差曲面上有多個局極小值，那麼不能保證這個過程會找到全局最小值。