深度學習 比較三種損失函數的使用（交叉熵、平方、絕對值）

注意：$y^*$代表的是標籤值僅僅有$0、1$兩個值，$y$是獲得的語義值（$softmax$後的邏輯值）

交叉熵：

$Loss1 = - y^**log^y$

• 當$y^*$爲0時：Loss的值爲0
• 當$y^*$爲1時：Loss的值爲$-log^y$

平方：

$Loss2 = y^**(1-y)^2$

• 當$y^*$爲0時：Loss的值爲0
• 當$y^*$爲1時：Loss的值爲$(1-y)^2$

絕對值：

$Loss3 = y^**|1-y|^2$

• 當$y^*$爲0時：Loss的值爲0
• 當$y^*$爲1時：Loss的值爲$|1-y|$

---

這是三種求損失函數的表達式

我們可以對這三種損失函數就行求偏導

這樣我們可以得到：

$Loss1' = - \frac{y'}{y}$

$Loss2' = - 2*(1-y)*y'$

$Loss3' = -y'$

通過上面的表達式，我們可以進行比較一下

這三個$Loss$的值在進行梯度下降的時候，其中梯度的變化程度

因爲$y$是概率值，是大於0小於1的

所以按照公式進行比較的話，會有如下的答案：

$Loss1 > Loss3 > Loss2$

---