SVM:軟間隔SVM（原理）

示意圖1

$\xi_i>1時，y_i和\omega^Tx_i+b異號，即y_{true}≠y_{pred}\Rarr錯分類$

示意圖2

值得注意的是：$distance(Margin)=\frac 2 {\parallel\omega\parallel}$

設兩條直線方程爲$Ax+By+C_1=0,Ax+By+C_2=0$，則其距離公式$d=\frac{|C_1-C_2|}{\sqrt{(A^2+B^2)}}$

因此，下圖更準確。但是下述分析均沿上圖展開。

$\xi_i表示(x_i,y_i)到\omega^Tx+b=±1的距離。$
$因此當\xi_i>\frac 2 {\parallel\omega\parallel}時，(x_i,y_i)位於敵軍區域\Rarr錯分類$

此處需要注意，還有另外一種看法，認爲$\frac {\xi_i} {\parallel\omega\parallel}$才代表$(x_i,y_i)到\omega^Tx+b=±1$的距離。如本文中展示的最後一個圖。

二分類問題描述

$Data=\{(x_i, y_i)\}_{i=1}^N,x_i\in\R^p,y_i\in\{-1,+1\}$

1. 硬間隔SVM

hard-margin SVM在數據中存在噪聲或數據不可分時，可能會失效。
$hard-margin\space SVM=\begin{cases}{min \atop \omega,b}{\frac 1 2}\omega^T\omega\space \\s.t.\space y_i(\omega^Tx_i+b)\geqslant1,i=1,...,N \end{cases}$

2. 軟間隔SVM

soft-margin SVM的思想是：允許出現錯誤，因此加Loss項。
$(1)soft-margin\space SVM=\begin{cases}{min \atop \omega,b}{\frac 1 2}\omega^T\omega\space+Loss \\s.t.\space y_i(\omega^Tx_i+b)\geqslant1,i=1,...,N \end{cases}$
Loss使用Hinge loss：$Loss=max\{0,1-y_i(\omega^Tx_i+b)\}$

（1）Hinge Loss

Hinge loss表示距離。
$\begin{cases}如果y_i(\omega^Tx_i+b)\geqslant1，令Loss=0\Larr滿足s.t.，即(x_i,y_i)在margin外 \\如果y_i(\omega^Tx_i+b)<1，令Loss=1-y_i(\omega^Tx_i+b)\Larr不滿足s.t.，(x_i,y_i)在margin內 \end{cases}$
即，
$Loss=max\{0,1-y_i(\omega^Tx_i+b)\}$
令${Z=y_i(\omega^Tx_i+b)},則Loss=max\{0,1-Z\}$
此時，$\begin{cases}1-Z>0時，Z<1\\1-Z\leqslant0時，Z\geqslant1\end{cases}是連續函數$

Q：0/1損失爲什麼不可行？
S：$Loss_{0/1}=\displaystyle\sum_{i=1}^NI\{y_i(\omega^Tx_i+b)<1\}=違反s.t.的(x_i,y_i)$的數量
這個函數是不連續的，跳躍的，其數學性質將導致求導時出現很多問題。
$令Z=y(\omega^Tx+b)，則Loss_{0/1}={\begin{cases}1, Z<1\\0,otherwise\end{cases}}$

（2）鬆弛向量

$(2)\begin{cases}{min \atop \omega,b}{\frac 1 2}\omega^T\omega\space+C\displaystyle\sum_{i=1}^Nmax\{0,1-y_i(\omega^Tx_i+b)\},C爲超參數，類似於正則化 \\s.t.\space y_i(\omega^Tx_i+b)\geqslant1,i=1,...,N \end{cases}$

但是往往不建議寫成上式的$max$形式。通常引入鬆弛向量$\xi$
$\xi_i=1-y_i(\omega^Tx_i+b),\xi_i\geqslant0$

因爲${\frac {\xi_i} {\parallel\omega\parallel}}$表示距離，因此 $\xi_i\geqslant0$：
（1）$(x_i,y_i=1)到\omega^Tx_i+b=1$的距離；
（2）$(x_i,y_i=-1)到\omega^Tx_i+b=-1$的距離。
（3）$\frac {\mid1-\xi_i\mid} {\parallel\omega\parallel}表示(x_i,y_i)到\omega^Tx_i+b=0$的距離。
要注意距離，對距離的描述要$×\frac 1{\parallel\omega\parallel}$

此外，從數學上，$\xi<0時滿足s.t,Loss=0$，就是硬間隔了。

1. 對於支持向量，$\xi_i=0\Rarr y_i(\omega^Tx_i+b)=1，滿足s.t.$
2. 對於噪聲點，$\xi_i>0\Rarr y_i(\omega^Tx_i+b)<1，不滿足s.t.\\\begin{cases}\xi_i>1時，y_i與\omega^Tx_i+b符號相反\Rarr分類錯誤\\ 0\leqslant\xi_i\leqslant1時，分類正確，但是(x_i,y_i)在margin內\end{cases}$

（3）最終優化形式

$(3)\begin{cases}{min\atop\omega,b}{\frac 1 2}\omega^T\omega+C\displaystyle\sum_{i=1}^N\xi_i \\s.t.\space y_i(\omega^Tx_i+b)\geqslant1-\xi_i \\\space\space\space\space\space\space\xi_i\geqslant0 \end{cases}$

$\mid1-\xi_i\mid表示(x_i,y_i)到\omega^Tx_i+b=0$的距離。
相當於把$\omega^Tx_i+b=±1$換成$\omega^Tx_i+b=\mid1-\xi_i\mid$

3. 求解同硬間隔SVM：對偶+KKT