交叉熵的反向傳播梯度推導（使用softmax激活函數）

1. 多分類問題的交叉熵

設標籤$y_k=1$，也即$x_k$對應的第$k$類的標籤爲1，則交叉熵損失函數爲：
$J = -\sum_{j=1}^Ny_j\log a_j^L = -\log a_k^L \tag{1}$
其中$N$是分類的類別數目。

softmax激活函數的表達式爲：
$a_k^L = \frac{e^{z_k^L}}{\sum\limits_{j=1}^{N}e^{z_j^L}} \tag{2}$

反向傳播過程需要對每一個$z_j^L, j=1, 2, \cdots, N$求導數。

(1) 當$j=k$時：
$\begin{aligned} \frac{\partial J}{\partial z_j^L}=\frac{\partial J}{\partial z_k^L}& = \frac{\partial J}{\partial a_k^L}\frac{\partial a_k^L}{\partial z_k^L} \\ & = -\frac{1}{a_k^L}\frac{(e^{z_k^L})\sum\limits_{j=1}^{N}e^{z_j^L}-e^{z_k^L}e^{z_k^L}}{(\sum\limits_{j=1}^{N}e^{z_j^L)^2}} \\ & = -\frac{1}{a_k^L} a_k^L(1- a_k^L) \\ & = a_k^L -1 \tag{3} \end{aligned}$

(2) 當 $j~\neq k$時：
$\begin{aligned} \frac{\partial J}{\partial z_j^L}& = \frac{\partial J}{\partial a_k^L}\frac{\partial a_k^L}{\partial z_j^L} \\ & = -\frac{1}{a_k^L}\frac{0*\sum\limits_{j=1}^{N}e^{z_j^L}-e^{z_k^L}e^{z_j^L}}{(\sum\limits_{j=1}^{N}e^{z_j^L)^2}} \\ & = a_j^L \tag{4} \end{aligned}$

(3)和(4)式可以合併爲：
$\frac{\partial J}{\partial z_j^L} = a_j^L - y_j \tag{5}$
其中，只有當$j=k$時，$y_j=1$，其餘的$y_j$都是0。

2. 二分類問題的交叉熵

二分類問題的交叉熵損失函數：
$L = -(y\log a^L+(1-y)\log(1-a^L)) \tag{6}$
則
$\begin{aligned} \frac{\partial J}{\partial z^L}& = \frac{\partial J}{\partial a^L}\frac{\partial a^L}{\partial z^L} \\ & = (- \frac{y}{a^L} + \frac{1-y}{1-a^L})a^L(1-a^L)\\ &=-y(1-a^L) + (1-y)a^L\\ &= a^L - y \tag{7} \end{aligned}$

綜合比較式(7)和式(5)，可以發現兩者的形式是一致的。