2019.8.23
訓練squeezenet,第一版訓了7000次,學習率0.01,感覺沒有收斂,就用了最後得模型再開始訓,第二次訓練時發現學習率爲初始化的值不是結束時得值,再訓練過程中開始導致訓練的acc降低,震盪較大。可能與學習率較大有關。學習率太大難收斂,太小收斂慢或者梯度消失無法學習。
batchsize太小易震盪,因爲改變參數快,太大顯卡遭不住,取數據慢!!
2019.8.23
訓練squeezenet,第一版訓了7000次,學習率0.01,感覺沒有收斂,就用了最後得模型再開始訓,第二次訓練時發現學習率爲初始化的值不是結束時得值,再訓練過程中開始導致訓練的acc降低,震盪較大。可能與學習率較大有關。學習率太大難收斂,太小收斂慢或者梯度消失無法學習。
batchsize太小易震盪,因爲改變參數快,太大顯卡遭不住,取數據慢!!