動手學深度學習之凸優化

凸優化理論是學習線性迴歸的時候就會用到的數學知識，利用凸優化的理論，可以求出最佳的參數值（解析解）使得損失函數最小，也可以證明梯度下降優化算法是有效地。

優化與DL

1. 優化與估計
   儘管優化方法可以最小化深度學習中的損失函數值，但本質上優化方法達到的目標與深度學習的目標並不相同。
   優化方法目標：訓練集損失函數值
   深度學習目標：測試集損失函數值（泛化性）
2. 優化在DL中遇到的問題
   局部最小值
   
   鞍點
   
   梯度消失
   

凸優化

記住這樣的結論就夠了：

1. 凸函數有全局最小值，一階導等於0的地方；
2. 凸函數與二階導一直大於等於0爲充分必要條件。

有些話說

一些問題：

1. DL常用的交叉熵損失函數是凸函數嗎？