Gradient Descent (機器學習中的第三個步驟)
目標:找一個最好的函數來解決最優化問題(optimization problem)
(機器學習的第二步中,定了一個loss function(function的function)能評價找到的function有多不好)
我們首先隨機選擇loss fuction的參數,並求其偏微分,求得方向 逐步得到目標參數
在這個過程中 會出現一些問題
- learning rate的設置
可用Adagrad - Stochastic Descent(隨機梯度下降)
每看到一個樣本就更新一次參數=》速度快 - Feature Scaling(特徵縮放)
侷限:卡在微分爲0的地方