集成學習(ensemble learning)乾貨系列(1)——集成學習概述
集成學習(ensemble learning)乾貨系列(2)——隨機森林(Bagging)
Boosting基本原理
提升，Boosting是另一大類成熟的集成學習方法，在衆多機器學習任務上取得了優異的成績；其基本思想是是否可以將一個弱學習器，學習增強成一個強學習器（分類器）。 它通過改變訓練樣本的權重，學習多個分類器，並將這些分類器進行線性組合，提高分類的性能。
這裏需要注意Bagiing和Boosting方法的不同之處：bagging方法的思想是通過同時學習很多個基學習器再通過某種集成方法（比如多數表決等）得到一個強分類器，這是可以並行學習的。而Boosting方法是希望我學習到的基學習器是互補的，也就是第二個基學習器要儘可能的在第一個基學習器表現不好的樣本上表現的好，這可以看成是一個串行學習的過程。
Boosting的框架可以概括如下：