fine-tuning就是使用已用於其他目標、預訓練好模型的權重或者部分權重，作爲初始值開始訓練。
那爲什麼我們不用隨機選取選幾個數作爲權重初始值？原因很簡單，第一，自己從頭訓練卷積神經網絡容易出現問題；第二，fine-tuning能很快收斂到一個較理想的狀態，省時又省心。
那fine-tuning的具體做法是？
• 複用相同層的權重，新定義層取隨機權重初始值
• 調大新定義層的的學習率，調小複用層學習率
什麼是 fine-turning？
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章