1. 座標下降法
coordinate descent method 【1】
對於一個最優化問題：min_x F(x_1,x_2,...x_n)，其求解過程如下：
Loop until convergence:
{
For i=1:n
{
x_i = arg min_x_i F(x_1,x_2,...,x_i-1,x_i,x_i+1,...,x_n);
}
}
可以看出：
（1）座標下降法在每次迭代中在當前點處沿一個座標方向進行一維搜索 ，固定其他的座標方向，找到一個函數的局部極小值。
（2）座標下降優化方法是一種非梯度優化算法。在整個過程中依次循環使用不同的座標方向進行迭代，一個週期的一維搜索迭代過程相當於一個梯度迭代。
（3）gradient descent 方法是利用目標函數的導數（梯度）來確定搜索方向的，該梯度方向可能不與任何座標軸平行。而coordinate descent方法是利用當前座標方向進行搜索，不需要求目標函數的導數，只按照某一座標方向進行搜索最小值。
此種算法，在latenSVM-DPM中有使用。
2. 牛頓法
3. 梯度下降法