因爲新冠肺炎疫情，診所還沒復工。這是在家用手機敲的，代碼顯示有問題。等復工以後在電腦上改，各位先湊和看吧。
支持向量機(Support Vector Machine, SVM)是一種基於統計學習的模式識別的分類方法，主要用於模式識別。所謂支持向量指的是在分割區域邊緣的訓練樣本點，機是指算法。就是要找到具有最大間隔的分隔面。實際上解決的是一個最優分類器設計的問題。
問題
目的:找到一個最優分類器，即找到一個分類器，使得分類間隔最大。
優化的目標函數:分類間隔，需要使得分類間隔最大。
優化對象:分類超平面(決策平面)，通過調整分類超平面的位置，使得間隔最大，實現優化目標。
超平面(Hyperplane)，指n維歐氏空間中餘維度等於1的線性子空間。二維空間中爲一條直線，三維空間中爲一個二維平面。
間隔:支持向量對應點到分類超平面的垂直距離的兩倍。即W =2d。
現在要做的是，在所有的樣本點中，找到合適的支持向量，在保證分類正確的前提下，讓間隔W = 2d最大。
再往後就是具體的求解推導的過程了，聽聽就行了。
對於線性不可分的情況，考慮將樣本映射到更高維的空間中去，希望在這個高維空間中其線性可分。
例:一條直線上的兩個不同分類的點也許不可分，將其映射到二維平面裏也許就可以區分了。
如果原始空間是有限維，即屬性數有限，一定存在一個高維特徵空間使樣本線性可分。
這就引出了核函數的概念。K(x, x') = φ(x)·φ(x')
當後者不容易求時，可找到一個函數K，即爲核函數。
推導看不懂。
選擇核函數無明確的指導原則，常用RBF，其次是線性核。
異常點造成的非線性，SVM允許在一定程度上偏離一下超平面。
SVM多分類
直接法:將多分類面的參數求解合併到一個最優化問題中。
間接法:組合多個二分類SVM分類器
有一對一法和一對多法。
下面來實踐，還是使用iris數據。參考https://blog.csdn.net/u012679707/article/details/80501358
import matplotlib.pyplot as plt
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn import svm
轉換類別
def Iris_label(s):
it = {b'Iris-setosa':0, b'Iris-versicolor':1, b'Iris-virginica':2}
return it[s]
if name == "main":
讀取數據
data = np.loadtxt("iris.data", dtype = float, delimiter = ',', converters = {4 : Iris_label})
print(data)
劃分數據與標籤
x, y = np.split(data, indices_or_sections = (4,), axis = 1)
爲了繪圖，只選前兩頁
x = x[:, 0:2]
train_data, test_data, train_label, test_label = train_test_split(x, y, random_state = 1, train_size = 0.6, test_size = 0.4)
print("訓練集大小:", train_data.shape)
print(train_data)
print(test_data)
訓練svm分類器
classifier = svm.SVC(C = 2, kernel = "rbf", gamma = 10, decision_function_shape = "ovr") #ovr 一對多策略
classifier.fit(train_data, train_label.ravel())
計算分類準確率
print("訓練集:", classifier.score(train_data, train_label))
print("測試集:", classifier.score(test_data, test_label))
查看決策函數
print("訓練決策函數:", classifier.decision_function(train_data))
print("預測結果:", classifier.predict(train_data))結果:
訓練集: 0.8555555555555555
測試集: 0.7
訓練集比測試集結果好。
再畫圖看看。
繪圖
fig = plt.figure()
x1_min, x1_max = x[:, 0].min(), x[:, 0].max()
x2_min, x2_max = x[:, 1].min(), x[:, 1].max()
x1, x2 = np.mgrid[x1_min:x1_max:200j, x2_min:x2_max:200j]
grid_test = np.stack((x1.flat, x2.flat), axis = 1)
設置顏色
cm_light = ListedColormap(['#A0FFA0', '#FFA0A0', '#A0A0FF'])
cm_dark = ListedColormap(['g','r','b'])
grid_hat = classifier.predict(grid_test)
grid_hat = grid_hat.reshape(x1.shape)
繪圖
plt.pcolormesh(x1, x2, grid_hat, cmap = cm_light)
plt.scatter(x[:, 0], x[:, 1], c = y[:, 0], s = 30, cmap = cm_dark)
plt.scatter(test_data[:, 0], test_data[:, 1], c = test_label[:, 0], s = 30, edgecolors = "k", zorder = 2, cmap = cm_dark)
plt.xlabel("length")
plt.ylabel("width")
plt.xlim(x1_min, x1_max)
plt.ylim(x2_min, x2_max)
plt.savefig("result.png")
試一下把四列數據都進行建模的結果:
四列數據都進行建模的結果
訓練集: 1.0
測試集: 0.95
結果很好。
接下來用這個方法解決一下泰坦尼克號問題吧。下次。
本文代碼:
https://github.com/zwdnet/MyQuant/tree/master/21
我發文章的四個地方，歡迎大家在朋友圈等地方分享，歡迎點“在看”。
我的個人博客地址：https://zwdnet.github.io
我的知乎文章地址： https://www.zhihu.com/people/zhao-you-min/posts
我的博客園博客地址： https://www.cnblogs.com/zwdnet/
我的微信個人訂閱號：趙瑜敏的口腔醫學學習園地