1 無約束優化算法思路
2 無約束優化的幾種方法
2.1 最速下降法（梯度法）
算法步驟
例題
2.2 牛頓法
2.2.1基本牛頓法
算法步驟
例題
2.2.2 阻尼牛頓法
算法步驟
例題
2.3 共軛方向法
算法思路
注意：共軛方向法僅僅是一種思想，其思想描述如下，由此衍生的共軛梯度法
看了好多人的講解，可腦袋裏還是沒有共軛方向的這個概念，因爲給出的定義都是數學公式，沒有通俗的理解是幹啥的，直到我讀到了李元科老師的書中所寫，如上，產生了這樣的理解，僅供參考哈，幫助理解數學定義而已。
個人理解：
由原來的正交n維座標系，改爲n個共軛向量所構成的座標系，那麼將這新的n維依次搜索一邊，就會得到“圓心”（最優點），那麼新的n維度和舊的正交n維座標系有什麼聯繫呢？看到了定義，H矩陣（Hess）！！！線性變換！！！即共軛向量經過H，變換爲舊的正交座標系，相反也一樣。當H爲單位矩陣I時！！！共軛向量就是正交座標系了！！！而對應的函數是爲“正圓形”，正交座標系又可以最好的描述出正圓函數值的變化，推廣過來！！！由特殊到一般，那共軛方向不就是描述函數值變化的最優座標系嗎，因爲不用自己再去手動尋找搜索方向，直接把它的每個座標軸搜索一遍就可以得到最優值了。
可以繼續往後想，I又有什麼特徵呢？不過在這我就不在深挖了，因爲失眠的原因就是：讀書太少，而想的太多。。。。。禿頭。。。。。再多看點書再想吧。
如此說來共軛向量（組）就是：描述函數值變化的最優座標系，因爲把它的每個座標軸搜索一遍就可以得到最優值了。
欸有我去，寫的真是太好了，自己吹一波，666666.
2.4 共軛梯度法
算法步驟
例題
2.5 變尺度法（DFP法）
其他類型的就不說了哈，目前只學了這一個，，，，看書少
算法步驟：
例題
