貪心調參 （座標下降）
座標下降法是一類優化算法，其最大的優勢在於不用計算待優化的目標函數的梯度。最容易想到一種特別樸實的類似於座標下降法的方法，與座標下降法不同的是，不是循環使用各個參數進行調整，而是貪心地選取了對整體模型性能影響最大的參數。參數對整體模型性能的影響力是動態變化的，故每一輪座標選取的過程中，這種方法在對每個座標的下降方向進行一次直線搜索（line search）
拿當前對模型影響最大的參數調優，直到最優化；再拿下一個影響最大的參數調優，如此下去，直到所有的參數調整完畢。這個方法的缺點就是可能會調到局部最優而不是全局最優，但是省時間省力，巨大的優勢面前，可以一試。
網格調參GridSearchCV
作用是在指定的範圍內可以自動調參，只需將參數輸入即可得到最優化的結果和參數。相對於人工調參更省時省力，相對於for循環方法更簡潔靈活，不易出錯。
GridSearchCV，它存在的意義就是自動調參，只要把參數輸進去，就能給出最優化的結果和參數。但是這個方法適合於小數據集，一旦數據的量級上去了，很難得出結果。這個在這裏面優勢不大， 因爲數據集很大，不太能跑出結果，但是也整理一下，有時候還是很好用的。
貝葉斯調參
貝葉斯優化通過基於目標函數的過去評估結果建立替代函數（概率模型），來找到最小化目標函數的值。貝葉斯方法與隨機或網格搜索的不同之處在於，它在嘗試下一組超參數時，會參考之前的評估結果，因此可以省去很多無用功。
超參數的評估代價很大，因爲它要求使用待評估的超參數訓練一遍模型，而許多深度學習模型動則幾個小時幾天才能完成訓練，並評估模型，因此耗費巨大。貝葉斯調參發使用不斷更新的概率模型，通過推斷過去的結果來“集中”有希望的超參數。
貝葉斯優化用於機器學習調參，主要思想是，給定優化的目標函數(廣義的函數，只需指定輸入和輸出即可，無需知道內部結構以及數學性質)，通過不斷地添加樣本點來更新目標函數的後驗分佈(高斯過程,直到後驗分佈基本貼合於真實分佈。簡單的說，就是考慮了上一次參數的信息，從而更好的調整當前的參數。
與常規的網格搜索或者隨機搜索的區別是：
1.貝葉斯調參採用高斯過程，考慮之前的參數信息，不斷地更新先驗；
2.網格搜索未考慮之前的參數信息貝葉斯調參迭代次數少，速度快；網格搜索速度慢,參數多時易導致維度爆炸
3.貝葉斯調參針對非凸問題依然穩健；網格搜索針對非凸問題易得到局部最優
使用方法：
1.定義優化函數(rf_cv, 在裏面把優化的參數傳入，然後建立模型， 返回要優化的分數指標)
2.定義優化參數
3.開始優化（最大化分數還是最小化分數等）
4.得到優化結果