ScSPM的論文中提到了碼書的過完備（over-complete）。一開始沒有太在意過完備有什麼問題，今天想了想把這個概念弄明白了。
特徵學習的過程中，假設學習的碼書D的大小爲M。每個碼字的維數爲N。每個原始特徵Yi的維數也爲N。假設原始特徵投影到碼書上以後的特徵向量是Xi（M維的矢量），那麼用D和Xi對Yi重建的過程就是：Yi=D*Xi。
coding的過程就變成了已知Yi和D，求Xi的過程了。顯然這是一個非齊次方程組求解的問題，方程組有解的條件是rank(D)≤M，其中取等號時方程組有唯一解。過完備的定義是M>>N，所以此時rank(D)≤N<<M，此時方程組有無窮多解。（你可能會問，這和最小化平方誤差爲目標函數不一樣啊！其實求個導，就變成這個方程組了。）這就是過完備造成的問題了。怎麼辦呢？辦法就是對Xi做約束------稀疏的約束，這樣Xi就有唯一解了。這就是需要加約束的原因。而爲什麼是稀疏的約束，這在我前兩博客（這裏和這裏）中稍微介紹過，這裏就不再廢話。
特徵選擇的過程，也是一樣的。假設此時有n個樣本，每個樣本有個measurement（這個measurement可以是regression中的output，也可以是classification中的label）。每個樣本的特徵是p維的，n個樣本的特徵組成n*p的矩陣A。目標是對這p維特徵做一個選擇，選擇的係數用x記錄。此時將如下圖所示：
這與第一個圖是等價的，特徵選擇過程中的over-complete是指p>>n，不加約束的情況下x將有無窮多組解，所以和特徵學習一樣，加係數的約束。xi爲0表示相應的特徵不被選擇。（而xi<0，等價於取一個|xi|，而將相應的特徵的值取負號。）
如果measurement不是一維的咋辦？比如multi-label的問題。我猜測把x的列維數也擴展成相應大小，然後根據label之間的correlation加低秩等約束吧。
-------------------
作者：jiang1st2010
轉載請註明原文地址：http://blog.csdn.net/jwh_bupt/article/details/9969841