Neural Networks and Deep Learning習題解答--反向傳播算法

神經網絡與深度學習習題解答

反向傳播算法

最近在看 Michael Nielsen的Neural Networks and Deep Learning，這本書是以網頁的形式放在網上，非常合適入門，附上傳送地址：http://neuralnetworksanddeeplearning.com/chap1.html#learning_with_gradient_descent

國內哈工大社會計算與信息檢索研究中心將這本書翻譯成中文版放在網絡上，地址爲：https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap1/c1s5.html

這一章詳細介紹了反向傳播算法以及其推導，對於反向傳播四個公式在

https://blog.csdn.net/weixin_39704651/article/details/95890829  給出了較爲詳細的證明。下面爲該部分的習題

• 修改一個神經元后的反向傳播

  假設我們修改了正向傳播網絡中的一個神經元，使得該神經元的輸出爲f(∑jwjxj+b)，其中f是一個非sigmoid函數的函數。在這種情況下我們應該怎樣修改反向傳播算法？

• 線性神經元的反向傳播

  假設我們在整個神經網絡中用σ(z)=z代替常用的非線性方程σ。重新寫出這種情況下的反向傳播算法。

根據該章內容已知反向傳播的四個公式

而修改一個神經元，注意只修改一個，假設修改的神經元在第 l 層第 j 個，則對於第 l 層之後的反向傳播算法均不變，即第l+1層、l+2層....的權重和偏置的更新方法不改變，由於是反向傳播，傳播到第l層第j個神經元才遇到修改的神經元，第 l 層的其他神經元未受直接影響，因而第 l 層的除了第 j 個神經元的其他神經元前面的權重和偏置的更新依然不受影響。故第 l 層反向傳播受到影響的是 、(這是一個向量)，第 l 層之前的所有權重和偏置的更新均受到影響。對於需要更新的權重，其反向傳播算法修正如下

 

對於線性神經元的反向傳播，將反向傳播公式裏涉及到公式換成1即可。