以下將使用帶AdaBoost算法的決策樹迴歸器(decision tree regressor)來預測房價。
1.關於adaBoost簡述(其他筆記中將詳細講述)
決策樹是一個樹狀模型,每個節點都做出一個決策,從而影響最終結果。葉子節點表示輸出數值,分支表示根據輸入特徵做出的中間決策。 AdaBoost算法是指自適應增強(adaptive boosting)算法,利用其他系統增強模型準確性的技術。將不同版本的算法結果進行組合,用加權彙總的方式獲得最終結果,被稱爲弱學習器(weak learners)。 AdaBoost算法在每個階段獲取的信息都會反饋到模型中,這樣學習器就可以在後一階段重點訓練難以分類的樣本。這種學習方式可以增強系統的準確性。首先使用AdaBoost算法對數據集進行迴歸擬合,再計算誤差,然後根據誤差評估結果,用同樣的數據集重新擬合。