【機器學習(二)】感知機

本篇是關於機器學習的第二篇,這一系列的文章主要是參考李航老師的《統計學習方法》一書,以及兼考慮周志華老師的《機器學習》一書

本篇主要講述的是感知機,需要注意的是與後面的支持向量機(SVM)的比較,尤其是與線性可分的支持向量機之間的比較。

1. 簡介

  • 感知機是二類分類的線性分類模型
  • 將輸入空間(特徵空間)劃分爲正負兩類的分離超平面
  • 屬於判別模型

2. 模型

  • 參數空間爲各維的權重w及額外的偏置b(n+1)
  • 其中w爲切分超平面的發現,b爲切分超平面與原點的距離

3. 策略

  • 損失函數爲誤分類點到超平面的距離
  • 距離的分母可以省略的原因
  • 誤分類點的判斷,模型的輸出與標註異號即爲誤分類點

4. 算法

  • 隨機梯度下降法
  • 具體算法
    • 參數選擇初值
    • 從訓練集中選擇某個樣本,若爲誤分類點,則進行梯度下降
    • 以上步驟直至沒有誤分類點爲止

5. 補充

  • 原始形式與對偶形式(區別)

(公式及相關圖片待補充。。。。。)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章