轉載自:https://www.cnblogs.com/CheeseZH/p/5265959.html
</h1>
<div class="clear"></div>
<div class="postBody">
SVM本身是一個二值分類器
SVM算法最初是爲二值分類問題設計的,當處理多類問題時,就需要構造合適的多類分類器。
目前,構造SVM多類分類器的方法主要有兩類
(1)直接法,直接在目標函數上進行修改,將多個分類面的參數求解合併到一個最優化問題中,通過求解該最優化問題“一次性”實現多類分類。這種方法看似簡單,但其計算複雜度比較高,實現起來比較困難,只適合用於小型問題中;
(2)間接法,主要是通過組合多個二分類器來實現多分類器的構造,常見的方法有one-against-one和one-against-all兩種。
一對多法(one-versus-rest,簡稱OVR SVMs)
訓練時依次把某個類別的樣本歸爲一類,其他剩餘的樣本歸爲另一類,這樣k個類別的樣本就構造出了k個SVM。分類時將未知樣本分類爲具有最大分類函數值的那類。
假如我有四類要劃分(也就是4個Label),他們是A、B、C、D。
於是我在抽取訓練集的時候,分別抽取
(1)A所對應的向量作爲正集,B,C,D所對應的向量作爲負集;
(2)B所對應的向量作爲正集,A,C,D所對應的向量作爲負集;
(3)C所對應的向量作爲正集,A,B,D所對應的向量作爲負集;
(4)D所對應的向量作爲正集,A,B,C所對應的向量作爲負集;
使用這四個訓練集分別進行訓練,然後的得到四個訓練結果文件。
在測試的時候,把對應的測試向量分別利用這四個訓練結果文件進行測試。
最後每個測試都有一個結果f1(x),f2(x),f3(x),f4(x)。
於是最終的結果便是這四個值中最大的一個作爲分類結果。
評價:
這種方法有種缺陷,因爲訓練集是1:M,這種情況下存在biased.因而不是很實用。可以在抽取數據集的時候,從完整的負集中再抽取三分之一作爲訓練負集。
一對一法(one-versus-one,簡稱OVO SVMs或者pairwise)
其做法是在任意兩類樣本之間設計一個SVM,因此k個類別的樣本就需要設計k(k-1)/2個SVM。
當對一個未知樣本進行分類時,最後得票最多的類別即爲該未知樣本的類別。
Libsvm中的多類分類就是根據這個方法實現的。
假設有四類A,B,C,D四類。在訓練的時候我選擇A,B; A,C; A,D; B,C; B,D;C,D所對應的向量作爲訓練集,然後得到六個訓練結果,在測試的時候,把對應的向量分別對六個結果進行測試,然後採取投票形式,最後得到一組結果。
投票是這樣的:
A=B=C=D=0;
(A,B)-classifier 如果是A win,則A=A+1;otherwise,B=B+1;
(A,C)-classifier 如果是A win,則A=A+1;otherwise, C=C+1;
...
(C,D)-classifier 如果是A win,則C=C+1;otherwise,D=D+1;
The decision is the Max(A,B,C,D)
評價:這種方法雖然好,但是當類別很多的時候,model的個數是n*(n-1)/2,代價還是相當大的。
層次支持向量機
層次分類法首先將所有類別分成兩個子類,再將子類進一步劃分成兩個次級子類,如此循環,直到得到一個單獨的類別爲止。對層次支持向量機的詳細說明可以參考論文《支持向量機在多類分類問題中的推廣》(劉志剛,計算機工程與應用,2004)
作者:
ZH奶酪——張賀
Q Q:
1203456195
郵箱:
[email protected]
出處:
http://www.cnblogs.com/CheeseZH/
*
本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。