機器學習之Gradient Descent(梯度下降)tips

Gradient Descent (機器學習中的第三個步驟)
目標:找一個最好的函數來解決最優化問題(optimization problem)
(機器學習的第二步中,定了一個loss function(function的function)能評價找到的function有多不好)
我們首先隨機選擇loss fuction的參數,並求其偏微分,求得方向 逐步得到目標參數
在這個過程中 會出現一些問題

  1. learning rate的設置
    可用Adagrad
  2. Stochastic Descent(隨機梯度下降)
    每看到一個樣本就更新一次參數=》速度快
  3. Feature Scaling(特徵縮放)

侷限:卡在微分爲0的地方
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章