最新的優化器：RAdam

最新的優化器：RAdam

參考： 以下文章來源於AI公園 ，作者ronghuaiyang

源碼： https://github.com/LiyuanLucasLiu/RAdam
論文：《ON THE VARIANCE OF THE ADAPTIVE LEARNING RATE AND BEYOND》
英文原文： https://medium.com/@lessw/new-state-of-the-art-ai-optimizer-rectified-adam-radam-5d854730807b

論文介紹了RAdam，也叫作“Rectified Adam”。這是經典Adam優化器的一個新變種，在自動的、動態的調整自適應學習率的基礎上，他們詳細研究了訓練期間的變化和動量的影響。與vanilla Adam相比，RAdam有希望即刻對每一個AI架構進行提升。

RAdam對不同的學習率具有魯棒性，同時仍能快速收斂並獲得更高的精度(CIFAR數據集)。