記錄幾個公式

隱語義模型在描述數據的各種方面具有很強的表達能力,因此預測的結果更好。
首先基於鄰域的模型可解釋性強,其次可根據一個新進入系統的用戶反饋立即提供推薦

 

 

這是因爲隨着我們更新次數的增大,我們是希望我們的學習率越來越慢。因爲我們認爲在學習率的最初階段,我們是距離損失函數最優解很遠的,隨着更新的次數的增多,我們認爲越來越接近最優解,於是學習速率也隨之變慢。

 

簡單來講,設置全局學習率之後,每次通過,全局學習率逐參數的除以歷史梯度平方和的平方根,使得每個參數的學習率不同起到的效果是在參數空間更爲平緩的方向,會取得更大的進步(因爲平緩,所以歷史梯度平方和較小,對應學習下降的幅度較小),並且能夠使得陡峭的方向變得平緩,從而加快訓練速度。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章