Adaptive Boosting(AdaBoost)

1. Motivation

bootstrap在訓練集上通過有放回的採樣構造出不同的訓練數據，該過程可以看作在完整訓練集上，爲每一個樣本賦予不同的權重。若該樣本在本次抽樣中沒有被選中，則其權重爲0。

在採樣得到的每一個數據集 u(t)n 上訓練得到模型 gt 。爲了增加不同 gt 之間的差異性，可採用如下思路：經過訓練得到的模型 gt 在數據集 u(t)n 上具有較好的表現，我們希望 gt 在數據集 u(t+1)n 上的表現較差，這樣通過 u(t+1)n 訓練出的模型 gt+1 與 gt 就會存在差異。
具體做法就是讓 gt 模型在構造出的 u(t+1)n 數據集上的二分類準確率爲50%，這樣就等同於機選。

具體例子如下：在數據集 u(t)n 上，模型 gt 分類正確的數據有6211個，分類錯誤的數據有1126個。因此在構造 u(t+1)n 時，將分類錯誤的樣本權重乘以 1126 ,將分類正確的樣本權重乘以 6211 。即放大錯誤，減小正確的影響。

將多個較弱的模型

2. Algorithm

Adaptive Boosting 算法訓練出多個不同的模型 gt ，並將其組合起來形成一個更強的模型 G(x) 。Adaptive Boosting在訓練模型和計算模型權重上是同時進行的。具體流程如下：