本篇是關於機器學習的第二篇,這一系列的文章主要是參考李航老師的《統計學習方法》一書,以及兼考慮周志華老師的《機器學習》一書
本篇主要講述的是感知機,需要注意的是與後面的支持向量機(SVM)的比較,尤其是與線性可分的支持向量機之間的比較。
1. 簡介
- 感知機是二類分類的線性分類模型
- 將輸入空間(特徵空間)劃分爲正負兩類的分離超平面
- 屬於判別模型
2. 模型
- 參數空間爲各維的權重w及額外的偏置b(n+1)
- 其中w爲切分超平面的發現,b爲切分超平面與原點的距離
3. 策略
- 損失函數爲誤分類點到超平面的距離
- 距離的分母可以省略的原因
- 誤分類點的判斷,模型的輸出與標註異號即爲誤分類點
4. 算法
- 隨機梯度下降法
- 具體算法
- 參數選擇初值
- 從訓練集中選擇某個樣本,若爲誤分類點,則進行梯度下降
- 以上步驟直至沒有誤分類點爲止
5. 補充
- 原始形式與對偶形式(區別)
(公式及相關圖片待補充。。。。。)