最優化學到了最優化條件部分，由於自己的數學功底實在是太差，啃得很慢。今天下午終於對“約束極值問題的最優性條件”部分有了相對宏觀的視角，所以記錄下來以備後用。
【必要條件】：如果已經知道了是最優解，那麼它一定滿足的條件。最優化中通常都是：”若x是局部最優解…”，這樣說的都是必要條件。
【充分條件】：找一些條件，滿足這些條件之後，此解就是最優的。最優化中通常都是先研究局部最小值的必要條件，之後加一個凸函數特性，將局部小必要條件轉化爲全局小充分條件。
一般約束問題之所以一般，是因爲同時引入了g（m個不等式約束）和h（l個等式約束）兩種約束。需要注意要對x進行約束不等式考察，只有起作用的不等式下標纔會被歸入I（起作用約束下標集），所以以下分析中所有的g都是通過I索引得到的。
接下來依次按照教材順序進行闡述：
1.正則點：若g和h的梯度線性無關，則x是g和h的正則點。
最關鍵的還是線性無關。
2.構建H子空間：x是正則點，x的切平面=H，H是方向d集和，這些d和h的梯度點積爲0，夾角爲90度。
3.一般約束問題局部最優解必要條件（集和表示式）：如果x是局部最優解，那麼F、G、H相交爲空集。三個集和分別是：f的下降方向、起作用約束的可行方向錐、等式約束切平面。
4.一般約束問題局部最優解必要條件（Fritz John梯度合成式）：不需要管h梯度是否線性相關。如果x是局部最優解，則可以對f、g、h進行全加權梯度合成。
這個FJ必要條件有可能出現f梯度係數爲0的情況，需要進行更嚴格約束。
5.一般約束問題局部最優解必要條件（K-T必要條件）：必須要求g梯度和h梯度線性無關。如果x是局部最優解，則可以對f、g、h進行f歸一化梯度合成。（歸一化指的是f梯度的係數爲1）
K-T條件還可以寫爲帶有互補鬆弛條件的等價形式（三行式）：f歸一化梯度合成、不等式約束加權和爲0、不等式約束係數非負。
6.Lagrange函數定義：直接由K-T條件得來，是廣義化的提煉。定義了f歸一化函數合成式L(x,w,v)。如果x是局部最優解，則存在w非負，v使得L梯度爲0（f歸一化梯度合成）。
7.凸規化最優解的充分條件：首先要求f是凸函數，g是凹函數，h是線性函數。如果x滿足K-T必要條件（可以進行f歸一化梯度合成），則x是全局最優解。