Day 6
感知機是二類分類的線性分類模型,其輸入爲實例的特徵向量,輸出爲實例的類別,爲判別模型。
2.1 感知機模型
感知機模型的假設空間是定義在特徵空間的所有線性分類模型,或線性分類器,即函數集合。
感知機解釋有線性方程:w。x+b=0,對於特徵空間一個超平面s,w是超平面的法線,b是超平面的截距,這個超平面將特徵空間劃分爲兩部分,分別爲正類和負類,因此,超平面s稱爲分離超平面。(超平面是n維歐氏空間中餘維度等於一的線性子空間。這是平面中的直線、空間中的平面之推廣。)
感知機學習就是利用訓練數據求得w與b,再對新的數據進行判別,給出其對應的類。
2.2 感知機學習策略
對於給定的數據集,如果存在超平面S能將其全部正確地分爲正實例點和負實例點,則稱爲數據集T具有線性可分性。
假設數據集是線性可分的,則其學習策略是能夠求得其分離超平面,需定義(經驗)損失函數,並將損失函數最小化。
感知機所採用的損失函數是誤分類點到超平面的總距離。
誤分類點:-y。(w。x+b)>0。
則:其誤分類點到超平面的總距離爲:
感知機學習的策略就是在假設空間中選取使損失函數最小的模型參數:w,b,即感知機模型。