正向傳播、反向傳播推導總結

最近在看《動手學深度學習》這本書，收穫很大，在此想總結一下，方便日後回顧。也推薦大家去看看這本書。

一、正向傳播：(這裏不考慮偏差項b)

輸入層到隱藏層中間變量：

隱藏層：

輸出層：

損失項：

正則化項：

目標函數：

正向傳播計算圖：

二、反向傳播：

首先確定目標，求：

  ,  

先計算最靠近輸出層模型參數的梯度：

再計算靠近輸入層模型參數的梯度：

 其中：