本篇是關於機器學習的第三篇，這一系列的文章主要是參考李航老師的《統計學習方法》一書，以及兼考慮周志華老師的《機器學習》一書
本篇不是李航老師的《統計學習方法》中的一部分，主要是對第二篇感知機中所涉及到的拉格朗日對偶性進行補充。
方法的目的
- 目的：爲解決約束最優化問題，常使用拉格朗日對偶性將原始問題轉換爲對偶問題
轉化步驟
- 通過引入拉格朗日乘子，得到拉格朗日方程。此時原始問題就轉換爲拉格朗日方程的極小極大問題
- 當x滿足約束條件時，拉格朗日函數的最大化會等於原始問題中的函數
- 當x不滿足約束條件時，拉格朗日函數的最大化會等於無窮大
- 通過解決對偶問題，即拉格朗日函數的極大極小化問題，來獲得極小極大化問題的最優解
充分必要條件——KKT條件
- 原始問題和對偶問題同解的充分必要條件是滿足KKT條件
- 關於x的偏導爲0
- 不等式約束項爲0
- 不等式約束爲小於等於約束
- 不等式約束項的乘子大於等於0（因此當乘子大於0時，不等式約束爲0i）
- 等式約束項爲0
（公式和圖片待補充。。。。）