(凸優化理論學習筆記2017/3/18）Theory of Convex Optimeization for Machine Learning(Sebatien Bubeck)

Section5.2： Smooth saddle-point representation of a non-smooth function

• Quite often the non-smoothness of a function f comes from a max operation.

5.2.1: Saddle point computation

1. 計算表達式；
   

2. 函數需滿足條件：緊湊凸集，並且連續，f(.y) is convex and f(x.) is concave；
   

3. 最優解爲x*,y*,滿足
   

4. 通過算法我們能得到一些列候選解x’,y’,通過duality gap來評價the quality of (x’,y’)
   

5. 可以證明這個評價表達式也滿足凸性
   

6. 證明過程：
   由函數的凸性：
   
   由函數的凹性：
   
   兩式相加得到前面的表達式

7. 總結：由於Saddle Point的最優解和候選解的評價表達式具有凸性，所以我們可以利用凸優化問題的一些方法來考慮有關Saddle Point的問題

5.2.2：Saddle Point Mirror Descent (SP-MD)

1. 定義mirror map:
   
   

2. 聯繫Mirror Descent概念得到迭代式
   
   

3. SP-MD的收斂性
   

4. 證明詳細見論文

5.2.3: Saddle Point Mirror Prox (SP-MP)

1. Mirror Prox的迭代式
   

2. 聯繫Mirror Prox得到SP-MP的迭代式
   

3. SP-MP的收斂性
   

4. 證明詳細見論文

5.2.4: Applications

• Three applications for SP-MD and SP-MP

5.2.4.1: Minimizing a maximum of a smooth functions

5.2.4.2: Matrix games

5.2.4.3: Linear classification

未完待續