一、簡介
Bootstrap aggregating 又稱爲Bagging 是一種用來增強學習算法準確度的算法，由 Leo Breiman 在1994年提出，能夠用來提高不穩定算法的準確度和穩定性，通常用於統計分類和迴歸中，它能夠減小方差並避免過擬合。基本思想是利用Bootstrap算法從訓練集中有放回的抽樣，得到M個訓練集，利用機器學習算法獲得在每個新的訓練集上的結果，對於分類，對M個結果進行投票，獲得最終的分類結果；對於迴歸問題，對M個結果進行平均。
二、分類算法流程
1. 從樣本集D中用Bootstrap採用（有放回地採樣）選出N個樣本
2. 對這n個樣本建立分類器（CART、SVM、ANN）
3. 重複以上兩步M次，建立M個分類器（CART、SVM、ANN）
4. 對於測試數據，在M個分類器上獲得M個分類結果，最後投票看到底分到哪一類
三、迴歸算法流程
1. 從樣本集D中用Bootstrap採用（有放回地採樣）選出N個樣本
2. 對這n個樣本建立迴歸（CART、LS）
3. 重複以上兩步M次，建立M個迴歸（CART、LS）
4. 對於測試數據，在M個分類器上獲得M個迴歸預測結果，最後求均值
to be continued...