調參調的是什麼？
調整的是損失函數中的參數，這裏麪包含了正則參數和初始化。
注意
-
調參看驗證集。trainset loss通常能夠一直降低，但validation set loss在經過一段降低期後會開始逐漸上升，此時模型開始在訓練集上過擬合。
-
着重關注val loss變化，val acc可能會突變，但loss衡量的整體目標，但是你的測試集是驗證集的話還是看評判標準爲佳。
-
優先調參學習率。
-
通過對模型預測結果，可以判斷模型的學習程度，如果softmax輸出在0或1邊緣說明還不錯，如果在0.5邊緣說明模型有待提高。
-
調參只是爲了尋找合適的參數。一般在小數據集上合適的參數，在大數據集上效果也不會太差。因此可以嘗試採樣部分數據集，以提高速度，在有限的時間內可以嘗試更多參數。
-
使用深度框架編程時，儘量使用框架提供的API，如tensor index索引，不要用for循環啥的。速度不是一個級別的。
學習率的重要性：
參考：
1.https://blog.csdn.net/qq_16234613/article/details/79596609