SVM筆記

SVM原理

設數據集$D=\{(\boldsymbol{x_1},y_1),(\boldsymbol{x_2},y_2),...,(\boldsymbol{x_m},y_m)\},y_i \in \{-1,+1\}$。SVM的基本想法是求解一個劃分超平面$\boldsymbol{w^Tx}+b=0$，它不僅能將樣本劃分爲正類和負類，還具有最大的幾何間隔。確定了超平面的$\boldsymbol{w}$和$b$後，模型可以表示爲$f(x)=sign(\boldsymbol{w^Tx}+b)$。

超平面$(\boldsymbol{w},b)$關於樣本點$(\boldsymbol{x_i},y_i)$的幾何間隔定義爲$\gamma_i=y_i\left\{\frac{\boldsymbol{w^Tx_i}+b}{\Vert \boldsymbol w \Vert}\right\}$，它等於樣本點到超平面的帶符號的距離。

當樣本點被正確分類時，$\boldsymbol{w^Tx}+b$與$y_i$同號，此時幾何間隔大於0，等於樣本點到超平面的距離。因此樣本點的正確分類等價於不等式約束$y_i(\boldsymbol{w^Tx_i}+b)\geq \epsilon$，其中$\epsilon$爲某個大於0的常數。

不等式兩邊同除$\epsilon$可得$y_i(\frac{w}{\epsilon}^Tx_i+\frac{b}{\epsilon})\geq 1$。由於$\boldsymbol{w}$和$b$同時按比例改變後超平面$\boldsymbol{w^Tx}+b=0$不變，故該約束可以表述爲$y_i(\boldsymbol{w^Tx_i}+b)\geq 1$。

距離超平面最近的樣本點剛好使得不等式約束中的等號成立（即它們的函數間隔等於1），它們被稱爲“支持向量”，正負類的支持向量到超平面的距離之和爲$\gamma=\frac{2}{\Vert \boldsymbol w \Vert}$

超平面$(\boldsymbol{w},b)$關於樣本點$(\boldsymbol{x_i},y_i)$的函數間隔定義爲XXXX，函數間隔除以。。

在該不等式約束下，我們希望最大化