線性分類器三種最優準則：
Fisher準則：根據兩類仰恩一般類內密集、類間分離的特點，尋找線性分類器最佳的法線。向量方向，是兩類樣本在該方向上的投影滿足類內儘可能密集、類間儘可能分開。這種度量通過類內離散矩陣Sw和類間離散矩陣Sb實現。
感知準則函數：準則函數以使錯分類樣本到分界面距離之和最小爲原則。
其優點是通過錯分類樣本提供的信息對分類器函數進行修正，這種準則是人工神經元網絡多層感知器的基礎。
支持向量機：基本思想是在兩類線性可分條件下，所設計的分類器界面使兩類之間的間隔爲最大，它的基本出發點是使期望泛化奉獻儘可能小。