一個簡單三層神經網絡BP算法的公式推導

神經網絡表示

讓我們來看一個最簡單的神經網絡，該神經網絡只有三層，分別是輸入層，隱藏層和輸出層。

爲了表示方便，我們把線性函數和非線性函數分開，神經網絡可以畫成如下：

其中φ(x)表示激活函數，我們知道神經網絡算法就是爲了擬合一個函數從而實現分類或迴歸等任務。由於前面只使用了線性函數，只能擬合線性函數，但在實際上很多任務的函數形態都是非線性的，所以激活函數的作用就是爲了增加函數的非線性，這樣就可以擬合任意函數了。

言歸正傳，整個函數可以寫成：

$\begin{aligned} a_1&=w_{11}x_1+w_{12}x_2+b_1 \\ a_2&=w_{21}x_1=w_{22}x_2+b_2 \\ z_1&=\varphi(a_1) \\ z_2&=\varphi(a_2) \\ y&=w_1z_1+w_2z_2+b \end{aligned}$

梯度下降法

然後定義損失函數：$E = \frac{1}{2}(y-Y)^2$。其中Y爲真實的label，y爲預測值，現在我們的任務就是希望通過數據集，不斷訓練學習到一個函數使得這個損失函數最小。也就是要求$minE$時的$w,b$參數。

要求$minE$時的$w,b$參數，在神經網絡算法中分爲兩個步驟，前向誤差傳播和反向誤差傳播，其中核心都是使用了梯度下降法。

使用梯度下降法，可以求解最小二乘問題，這還得從Taylor級數多起，對於多元函數$f(x)=f(x_1,x_2,x_3...)$而言，它的梯度（也就是所有偏導數寫成向量的形式），可以寫成
$f(x)'=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\frac{\partial f}{\partial x_3}...)$
該函數的Taylor級數爲：
$f(x)=f(x_0)+f(x_0)'(x-x_0)+\frac{1}{2}(x-x_0)^TH(x-x_0)+O(|x-x_0|^3)$

其中H爲Hessian矩陣，由於二次項以及之後的高次項影響較小，求導麻煩，一般計算時會忽略。所以可寫成這樣：
$f(x)=f(x_0)+f(x_0)'(x-x_0)$
上述式子表示在$x=x_0$這個位置上，$f(x)$函數可以近似寫成右側形式。
由於梯度方向是函數增長最快的方向，目標函數f(x)往往是誤差函數，往往我們還會定義學習率$\eta$，每次下降一點點，若$\eta$太大會導致當前位置跳到另一側較高點，迭代多次出現震盪，無法收斂。

於是，我們可以把剛剛的泰勒級數寫成更新式：

$x_1^{k+1}=x_1^{k}-\eta \frac{\partial f}{\partial x_1}x^{k}$

$\frac{\partial f}{\partial x_1}$爲當前點對所有需要學習參數的偏導的集合。

隨機定義需要學習的9個參數值：{$w_{11},w_{12},w_{21},w_{22},w_1,w_2,b_{1},b_2,b$}

採用sigmoid作爲非線性激活函數。
$f(net) = \frac{1}{1+e^{-net}}$

其導數爲：
$f(net)'=f(net)(1-f(net))$

前向誤差傳播

神經網絡根據輸入x1,x2得到輸出y，可以列出以下式子：

$y=f({w_{11}x_1+w_{21}x_2+b1})*w_1+f({w_{12}x_1+w_{22}x_2+b2})*w_2+b$

由於隨機定義了需要學習的參數，輸出y與真實標籤Y有一定的差距。

令$E(w)=\frac{1}{2}(y-Y)^2=\frac{1}{2}(f({w_{11}x_1+w_{21}x_2+b1})*w_1+f({w_{12}x_1+w_{22}x_2+b2})*w_2+b-Y)^2$，要求得E(x)最小。
使用F(x)對各個參數求偏導令爲0，再進行迭代，定義一個學習率，進行迭代。
$\frac{\partial E}{\partial w_{11}},\frac{\partial E}{\partial w_{12}},\frac{\partial E}{\partial w_{21}},\frac{\partial E}{\partial w_{22}},\frac{\partial E}{\partial b_{1}},\frac{\partial E}{\partial b_{2}}, \frac{\partial E}{\partial b}$

比如說
${\frac{\partial E}{\partial b_{1}}}=f({w_{11}x_1+w_{21}x_2+b1})(1-f({w_{11}x_1+w_{21}x_2+b1}))*w_1=0$

再使用梯度下降法更新：

參考sigmoid的導數：$f(net)'=f(net)(1-f(net))$，以此類推。

反向誤差傳播

回到剛纔的誤差準則函數：$E(w) = \frac{1}{2}(y-Y)^2$。這一次，要進行反向傳播，那麼先從輸出開始看。

後向傳播要做的事情，實際還是求出偏導數$\frac{\partial E}{\partial w}, \frac{\partial E}{\partial b}$，來進行迭代。
怕大家忘了，重新搬出這張圖：

下面涉及到公式就比較複雜了，但是不要慌，實際就是使用了鏈式法則來求，只要根據上圖來，耐心地看完，就應該能看懂。

根據神經網絡圖，有：
$\frac{\partial E}{\partial y}=(y-Y)$

$\frac{\partial E}{\partial a_1}=\frac{dE}{dy}\frac{\partial y}{\partial z_1}\frac{\partial z_1}{\partial a_1}=(y-Y)*w_1*f(a_1)'$
$\frac{\partial E}{\partial a_2}=\frac{dE}{dy}\frac{\partial y}{\partial z_2}\frac{\partial z_2}{\partial a_2}=(y-Y)*w_1*f(a_2)'$

於是可以算出所有待求偏導數：
$\frac{\partial E}{\partial b}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial b}=(y-Y)*1$

$\frac{\partial E}{\partial w_1}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial w_1}=(y-Y)*z_1$

$\frac{\partial E}{\partial w_2}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial w_2}=(y-Y)*z_2$

$\frac{\partial E}{\partial w_{11}}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial z_1}\frac{\partial z_1}{\partial a_1}\frac{\partial a_1}{\partial w_{11}}=(y-Y)*w_1*f(a_1)'*x_1$

$\frac{\partial E}{\partial w_{12}}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial z_1}\frac{\partial z_1}{\partial a_1}\frac{\partial a_1}{\partial w_{12}}=(y-Y)*w_1*f(a_1)'*x_1$

$\frac{\partial E}{\partial b_1}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial z_1}\frac{\partial z_1}{\partial a_1}\frac{\partial a_1}{\partial b_1}=(y-Y)*w_1*f(a_1)'*1$

$\frac{\partial E}{\partial w_{21}}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial z_1}\frac{\partial z_1}{\partial a_1}\frac{\partial a_1}{\partial w_{21}}=(y-Y)*w_1*f(a_1)'*x_2$

$\frac{\partial E}{\partial w_{22}}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial z_2}\frac{\partial z_2}{\partial a_2}\frac{\partial a_2}{\partial w_{22}}=(y-Y)*w_2*f(a_2)'*x_2$

$\frac{\partial E}{\partial b_2}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial z_2}\frac{\partial z_2}{\partial a_2}\frac{\partial a_2}{\partial b_2}=(y-Y)*w_1*f(a_2)'*1$

求出偏導數之後，進行迭代就完事了。

上面顯示了一個簡單的三層神經網絡的前向傳播與後向傳播的公式推導，一般進行學習的時候，會把一個batch的數據往學習器裏送，先進行一次前向傳播，再進行一次後向傳播，當訓練完所有訓練集，稱之爲一個epoch。有機會給大家推導一下一般形式的三層BP神經網絡~