Self-paced Learning 自步學習

在剛結束的IJCAI-17上瞭解到自步學習，覺得蠻有意思，它的思想很簡單，然後用簡潔的數學式子來表達這種思想感覺很棒。以下內容轉自Longfei Han主頁。

1. 自步學習

現有機器學習方法都需要解決非凸優化問題，例如學習感知機或深度置信網，傳統的優化方法在避免非凸優化問題陷入較差局部解時，往往採用多次隨機初始化方式訓練模型，然後選擇其中效果最好的初始化結果構建模型。然而這種方法過於adhoc，而且計算代價過高。課程學習和自步學習最開始就是作爲解決非凸優化問題而提出的。Bengio教授在2009年ICML上提出課程學習，而自步學習則是在課程學習的基礎上，由Koller教授團隊在2010年NIPS上將該思想建立爲具有理論基礎的數學表達形式。課程學習和自步學習的核心思想是通過模擬人的認知機理，首先學習簡單的、普適性的知識結構，然後逐漸增加難度，過渡到學習更復雜、更專業化的知識[1]。

課程學習是對於特定問題而言，根據先驗知識或啓示賦予樣本不同的學習特性或學習先後順序。例如：大學課程中一般會設定先學習線性代數，然後再學習高等數學，這其中是根據先驗知識對知識學習順序的指定（instructor driven）；在自然語言處理中，如果我們人爲指定數據輸入順序按照短句——長句、簡單句——複雜句的方式也可視爲是利用課程學習訓練模型的一種體現。相對於課程學習，自步學習則是對於已學習獲得的模型而言，賦予樣本不同的學習難易程度（easiness or confidance）。例如：我們完成9年義務教育準備高考複習時，會做一本習題書《5年高考-3年模擬》。假設，我們做第一遍試題時僅會做簡單的加減乘除，複雜的微積分都做錯。隨着不斷的重複做模擬試題以及比對正確答案，我們可以逐漸答對複雜的高等數學問題。這個過程可以認爲是自學習過程（student-driven），而線性代數在該過程被認爲是簡單樣本，相對地，高等數學則被認爲是複雜樣本，每次刷題的過程對應爲已學習獲得的模型。

在機器學習研究中，我們自然也可以將學習對象(數據、特徵、概念等)按其對學習目標的難易程度，從易到難開展學習，以這種方式讓機器完成複雜的學習與推理任務。自步學習研究的關鍵是假設樣本的選擇並不是隨機的，或是在一次迭代中全部納入訓練過程中，而是通過一種由簡到難的有意義的方式進行選擇的。自步學習中從簡單到複雜的樣本選擇過程是指，簡單樣本可以理解爲具有較小的損失（smaller loss）或較大似然函數值（likelihood）的樣本，複雜的樣本具有較大損失（larger loss）的樣本。

2. 相關應用

近年來，自步學習理論已經被應用到很多任務中，並取得了state-of-the-art的結果，例如，Zhao et al.[2]提出SPMF算法對非凸矩陣分解問題、Jiang et al.[3]提出SpaR方法用於解決多模態多媒體事件檢測問題、Zhang et al.[4]提出SP-MIL模型實現顯著性檢測；Jiang et al.[5]提出SPLD方法並應用於視頻動作識別中；Deva et al.[6]將自步學習應用於物體跟蹤；Han et al. [7]提出SPMoR模型將自步學習應用於混合模型的健壯估計中。SPL優勢在於可以針對特定任務設計不同的自步正則項，用於表徵和定義“簡單”樣本。例如，最基本的SPL正則項爲標準的LASSO（norm），用於從所有樣本中選擇稀疏的、有競爭力的樣本，即樣本具有很小的訓練誤差、高似然值或者高置信度；SPLD和SP-MIL分別引用和範數作爲自步學習正則項，這兩種正則項都屬於Group LASSO[8,9]，和不同子集間選擇變量，促使保留稀疏的子集，因此在自步學習中，二者都起到鼓勵在多個子集中選擇樣本的作用，並避免子集間的稀疏性.

從健壯估計角度來看，自步學習理論本質上是一種健壯學習機制，自步學習定義的簡單樣本是指在學習過程的每次迭代中被選擇的樣本不會存在預測誤差或代價超過一定閾值的樣本，我們也稱之爲“置信度高”的樣本。對於噪聲或者異常值而言，它們必然會增加學習過程的難度，使得估計誤差較大，進而可以被看做是“置信度低”的樣本，也就不會被選入自步學習的學習過程中。SPMoR就是利用自步學習的特性，提出一種基於Exclusive LASSO的新自步學習正則項，在鼓勵混合模型各成分內樣本的競爭，而且避免成分間的競爭，使得混合模型在每個成分中都選擇一定數量的樣本，且每個成分中只傾向於選擇置信度高的樣本，遮蔽噪聲數據的同時，避免自步學習在每次迭代過程中在各成分間選擇樣本數量的不均衡。

3. SPL

接下來主要介紹Koller教授[10]的自步學習（SPL）文章，下篇博文會重點介紹Lu Jiang的SPLD文章。

假設訓練集D=(xi,yi),…,(xi,yi) 存在n 個樣本，每個樣本xi 代表一個樣本，yi 表示對應樣本的類別標籤，w 表示對應模型的待優化參數，參數w 的正則項記爲r(w) ，模型的損失函數記爲f(xi,yi,w) 。傳統機器學習方法的目標函數記爲：

wt+1=argmin(r(w)+∑i=1nf(xi,yi,w)).

自步學習核心思想是在每次迭代過程中傾向於從所有樣本中選擇具有很小的訓練誤差、高似然值的樣本，然後更新模型參數。每次迭代選擇樣本的數量由權重參數確定，該參數通過逐次衰減實現引入更多的樣本，當所有樣本已被選擇或者代價函數無法再降低則停止迭代。

因此，自步學習在傳統機器學習目標函數中引入二分變量（binary variable）vi ，用於表徵每個樣本是否被選擇，或是否爲簡單樣本，例如：似然值高的、遠離分類邊界的點。因此，僅有vi=1 的樣本被納入目標函數計算中，其目標函數可以改爲：

(wt+1,vt+1)=argmin(r(w)+∑i=1nvif(xi,yi,w)−1K∑i=1nvi).

其中，K 爲自步學習參數，用於決定哪些樣本被選入自步學習中。如果K 值較大，目標函數優化過程則傾向於選擇損失f(⋅) 很小的樣本。隨着迭代次數的增加，我們逐漸減小K 的值，當K 值趨近於0時，越來越多的樣本被選擇。此時，自步學習訓練過程則退化爲傳統機器學習訓練過程。因此，自步學習的過程可以理解爲從開始少量“簡單”樣本開始，逐漸引入更多樣本，直至所有樣本被選擇進入模型。

最基本的SPL的優化過程很簡單。當f(xi,yi,w)≤1/K 時，vi=1 ，當f(xi,yi,w)>1/K 時，vi=0 。特別地，當f(⋅) 和r(⋅) 均爲凸函數時，上述自步學習的優化問題可以轉化爲雙凸優化問題（biconvex optimization problem）。雙凸優化問題是指對於待優化參數集合z 而言，參數集合可以被劃分爲互斥的兩個集合z1 和z2 。如果任意一個參數集合zi 固定一組參數值時，另一組參數的優化問題可以看做是凸優化問題，那麼該問題可以視爲雙凸優化問題。例如，在上述表達式中存在兩組參數w 和v ，我們可以交替固定w 求得v 的最優解，然後固定v 求w 的最優解，該優化方法可以稱爲alternative convex search (ACS)方法，可以保證求得函數的局部最優解。

4. 自步學習和其他方法的區別

機器學習方法中也存在相關方法用於選擇樣本，例如：主動學習（active learning）和協同訓練（co-training）。自步學習與二者的區別在於自步學習中所有樣本的標籤是完全存在的，在每次迭代過程中，我們可以通過計算預測值和標籤的差別來選擇置信度高的樣本。而主動學習和協同訓練往往應用於半監督學習框架，其中主動學習傾向於選擇當前模型下確定性或置信度低的樣本，而協同訓練則是從無標籤數據中選擇分類器認爲置信度可能高的樣本，選擇的樣本並沒有標籤，無法斷定估計結果是否準確。相比之下，自步學習則是選擇預測值與真實值接近的、即分類器可以分辨的置信度真的高的樣本。

5. 參考文獻

[1] Deyu Meng老師主頁.

[2] Q. Zhao, D. Meng, L. Jiang, Q. Xie, Z. Xu, and A.G. Hauptmann. Self-Paced Learning for Matrix Factorization. AAAI, 2015, 3196–3202.

[3] L. Jiang, D. Meng, T. Mitamura, and A.G. Hauptmann. Easy samples first: Self-paced reranking for zero-example multimedia search. MM, 2014, 547–556.

[4] D. Zhang, D. Meng, and J. Han. Co-saliency detection via a self-paced multiple-instance learning framework. IEEE TPAMI, 2016, online published.

[5] L. Jiang, D. Meng, S.I. Yu, Z. Lan, S. Shan, and A.G. Hauptmann. Self-paced learning with diversity. NIPS, 2014, 2078–2086.

[6] J.S. Supancic and D. Ramanan. Self-paced learning for long-term tracking. CVPR, 2013, 2379–2386.

[7] L. Han, D. Zhang, D. Huang, X. Chang, J. Ren. IJCAI, 2017, accepted.

[8] Lu Jiang SPLD主頁.

[9] Dingwen Zhang主頁.

[10] Kumar M P, Packer B, Koller D. Self-paced learning for latent variable models. NIPS, 2010, 1189-1197.