深度學習_深度學習基礎知識_Gradient Clipping公式解釋

啥也不說直接上公式：

先求出梯度g，並設置梯度閾值threshold。我們再求出梯度的L2範數||g||，我們比較||g||和threshold的大小，如果||g||比threshold大，我們接着對梯度進行縮放。我們求出縮放因子：$\frac{threshold}{||g||}$，再將它與梯度相乘得到我們最後的梯度。