最優化是一種數學方法,它是研究在給定約束之下如何尋求某些因素,以使某一些指標達到最優的一些學科的總稱.在機器學習中,大部分的機器學習算法的本質都是建立優化模型,通過最優化方法對目標函數(損失函數)進行優化,從而訓練出最好的模型.梯度下降法,牛頓法和擬牛頓法是求解無約束最優化問題的常用方法.
梯度下降法
梯度下降法實現簡單,當目標函數爲凸函數時,梯度下降法的解是全局最優解.
梯度
梯度的定義: 函數在某一點的梯度是這樣一個向量,它的方向與取得最大方向導數的方向一致(即函數沿梯度方向有最大的變化率),而它的模爲方向導數的最大值.
1.梯度是一個向量
2.梯度的方向是最大方向導數的方向
3.梯度的值是最大方向導數的值
那麼爲什麼下降最快的方向就是負梯度方向呢？下面我們李彤泰勒定理以及泰勒公式來證明。
