1. 神經網絡學習整體流程
神經網絡學習的步驟如下所示。
- 前提
神經網絡中有合適的權重和偏置，調整權重和偏置以便擬合訓練數據的過程稱爲學習。神經網絡的學習分爲下面 4 個步驟。 - 步驟1（mini-batch）
從訓練數據中隨機選擇一部分數據。 - 步驟2（計算梯度）
計算損失函數關於各個權重參數的梯度。 - 步驟3（更新參數）
將權重參數沿梯度方向進行微小的更新。 - 步驟4（重複）
重複步驟1、步驟2、步驟3。
之前介紹的誤差反向傳播法會在步驟2 中出現。我們可以利用數值微分求得了這個梯度。數值微分雖然實現簡單，但是計算要耗費較多的時間。和需要花費較多時間的數值微分不同，誤差反向傳播法可以快速高效地計算梯度。