轉參考知乎ID（小飛魚）鏈接：損失函數-交叉熵損失函數
1.交叉熵損失函數表達式
1.1二分類式：L=-[y*log(p)+(1-y)*log(1-p)]
參數含義：
y：樣本標籤，正確爲1，錯誤爲0
p：預測正確概率
1.2多分類表達式如圖：
參數含義：
M：類別的數量
yc：只是變量，正確爲1，否則爲0
Pc:預測正確的概率
2.函數的性質
右圖可得，函數爲凸函數，求導即可得到全局最優值。
3.二分類情況函數求導推導
如上圖所示，求導分爲三部分，即：
（1）第一部分：
（2）第二部分：
（3）第三部分：
（4）合併得：
4.優點
梯度下降算法在更新參數的時候，模型的學習率與兩個數值有關。
一：學習率（自身設定的超參數）
二：偏導值（決定函數由上圖所示）
當學習效果較差時，學習的速率越快，當學習效果變好時，學習的速率就會減緩。