Learning Parameters of Multi-layer Perceptrons with Backpropagation
本文主要描述如何使用反向傳播來更新weights，因爲博客上傳一直存在問題，因爲看不清的圖片可以點擊，放大來看。
主要描述的是其工作工程和計算的公式，在這篇文章中有具體數字計算的例子
https://blog.csdn.net/qq_36098284/article/details/105897662
1. Toward backpropagation
使用perceptron建模時，因爲只有一個神經元，沒有隱藏層，也就是隻有一組權重。在計算出y值並與真實結果相比較的時候，如果有error，需要進行權重的更新。（因爲我們希望我們的預測結果錯誤最小）。這時我們計算分類結果的過程是從左到右的，更新權重的過程時從右到左的.
|
|
但是對於MLP而言，存在問題，因爲MLP有多個layer，但是只有在output layer的時候才知道最終的結果。所以說隱藏層的更新存在問題。
|
|
下面是MLP工作的流程：
|
|
但是反向傳播可以解決這個問題
Backpropagation provides us with an efficient way of computing partial derivatives of the error of an MLP wrt. each individual weight.
2. 反向傳播的過程
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
3. The Delta Rule
Step1: model definition
|
|
首先，需要建立一個模型，選擇好激活函數，根據模型，計算出每個神經元的輸出結果和最終的error function值。
Step2: error of the final layer
|
|
計算出最後一層的error，開始更新權重。我們可以先計算出每個神經元的𝛿值，然後在更新，計算出該神經元結果a的每一個權重。
Step3: The generalized Delta Rule
使用下面的公式，計算∆𝜃，然後在更新權重。
|
|
|
|
4. Algorithm
|
|
