梯度下降與反向傳播的關係

1.梯度下降是一種優化方法，可以看做一種理論。例如想從山頂走到山腳，最快的方式就是沿着最陡的方向走。

2.卷積神經網絡中，由於網絡的特性，需要將每個真實值與預測值的誤差傳遞到前面的網絡的神經元中，就需要使用反向傳播的方式，可以說反向傳播是梯度下降在卷積神經網絡的實現，因爲梯度下降不僅僅應用在卷積神經網絡中。