轉自：http://blog.sina.com.cn/s/blog_4d92192101008en9.html
(此貼最開始於 2007-7-21 20:23 發表在 prfans.com 上)
|
dodo
|
|
這篇文章是接着《dodo：人臉識別方法個人見解》，這個帖子主要是談談在上一篇中沒有談到或是一帶而過的問題。和上一篇一樣，還是就方法論方法。
1，kernel methods a. KPCA及其相關 kernel席捲PAMI領域的趨勢還在加強。原因很簡單，絕大多數的問題都能和kernel掛上鉤。在人臉識別裏，KPCA和KFA的影響力遠不及PCA和LDA。就應用領域來說，KPCA也遠沒有PCA應用的廣泛。YANG Jian在PAMI上的那個KPCA plus LDA就是子空間和kernel結合的典型論文。如果用作一般性的降維KPCA確實會比PCA效果好，特別是你用的feature空間不是一般的歐式空間的時候更爲明顯。所以，把LDA用在KPCA變換的空間裏自然會比用在PCA變換的空間裏效果好。 但是就降維來說，KPCA有一個嚴重的缺點，就是由它不能得到一個可表示的子空間，比如PCA也可以得到一組正交基作爲表示基。當然，這也是kernel方法的本質屬性導致的。這樣就會限制kernel方法的應該範圍。舉個簡單的例子，有人做過用PCA來給SIFT特徵降維的方法，也就是那個SIFT+PCA，但他們沒有用KPCA+SIFT。就原理上來說，KPCA更適合給SIFT降維，但是在實際應用中，對於SIFT來說，如果需要降維的話，用來降維的東西必須事先學好，PCA就可以事先通過大量的自然圖片來學習一個子空間。但是，KPCA做不到。雖然有out-of-sample的方法，但是這種方法有明顯的缺點：如果訓練樣本過大，KPCA的kernel矩陣就很大，這樣就很不方便應用，如果過小，效果又不好。其實這也是這類kernel方法的通病（不是一般）。 b. regression regression也是分類常用的一種方法。CVPR'07就有一篇Kernel ridge regression。 regression用來分類的原理很簡單，但是他和傳統的LDA等類似的方法有着明顯的區別。就ridge regression來說，它就是要找一個變換，使樣本在變換後的空間裏和他們本身的label儘量接近，那末這個學到的變換就在最小二乘意義下儘量好的刻畫了樣本空間的類結構。一般的，對變換函數（離散就是向量或是矩陣）做一個l2範數上的限制，美其名曰保證函數的smooth（這個下面還會再談）。這樣就可以得到一個形式上較爲美的閉解。其實根本不用kernelizaton，regression本身就可以和kernel直接掛上鉤，因爲求出來變換矩陣在一定限制下就可以看成kernel矩陣（YE Jieping CVPR‘07的metric learning中就用到了類似的思想）。這個和用graph Laplacian做ranking的方法非常相似。Laplacian（或是其簡單變形）的逆矩陣如果是正定的，那末就把這個逆看作kernel矩陣。那末和kernel直接相關的方法和思路就用上來了，特別是learning中，種類繁雜。 把ridge regression核化的全部技術含量就在計算的trick上。由於把樣本映射到Hilbert空間中只是一個虛的表示，在出現內積的情況下才能寫成現實的表達式，所以對於kernel方法來說，計算上的trick要求就比較高。但是，往往這類trick都是在統計和矩陣早已被解決的問題，所以大部分工作就是怎樣用好而已。 像這樣“借殼還魂”的做法，在很多理論的研究上都非常重要。我們要達到我們的目的，但是這個東西又不是直接可表達的，那末就可以把它放到一定的空間中，按照這個空間中的基本原理來計算，最後到達一個可以表達的形式，而且是按照你的idea來推導的。這種東西一旦做出來，質量還不低。 2，regularization 雖然名字叫regularization，其實就想談談優化目標和優化約束問題。 如果你看了ICML'07,CVPR'07和即將出爐的ICCV'07，你就會發現07年是個不平凡的一年，降維領域有點混亂。或者說自從97年以來一直就沒有平靜過，都是Fisherfaces惹的禍：） 還記得knato回帖中斗膽列出的排列組合嗎？如果不記得暫且去溫習一下，因爲我要用一把。把knato列出的不同排列組合加上如下regression一個的一個優化 ||Y-W'X||^2， 就可以概括所有今年的和這類相關論文的思想。然後，如果你願意，你還可以衍生出很多。優化目標確定以後，所不同的就是求解方法。你可以帶着這個觀點再去看一下今年的論文，瞭然於胸。 由此，線性降維的混亂過程經歷了一個小小的轉折————從子空間組合到優化目標和優化約束的組合。子空間主要集中在1998--2005（當然還不會消失），後一種在今年可以說是達到一個小小的高潮。如果再加上應用算法的策略，就形成了亂世中的三足鼎立局面。特別是後一種，往往穿插出現，而且有待加強。這其中的代表人物 TANG Xiaoou, YANG Jian, YE Jieping, HE Xiaofei，YAN Shuicheng。導致這一變更的主要因素來源於非線性方法的應用，特別kernel和manifold learning的線性化應用，這其中LPP起了很大的刺激作用。 如果你能站在一個高度（一定範圍內）看待這些東西，那末當你面臨畢業出國壓力時，你就可以“察若水三千，得一瓢飲”來緩解壓力。而且還可以儘量飲得好水。（再次鄭重聲明：這不是發這個帖子的原意。） 3，子空間方法中常用的計算技巧 a. 關於這一塊的東西，Stan Z. Li編輯過一個小書挺好的，可以通過下面的網站找到。 http://www.face-rec.org/ 不過，我想談談規律性的東西。這其中涉及到的東西就是 column (range) space, null space, generalized inverse。這些東西都和QR分解，SVD或是GSVD相關。遇到這些東西，就想起他們準沒錯。如果你有興趣，可以看看YE Jieping和Haesun Park關於子空間的論文，都是一個模式。 b. 正交化 從發表的論文來看，對於廣義特徵值問題，如果求解一組相互正交的基，比B-orthogonal效果要好很多。代表作就是CAI Deng的orthogonal LPP和YE Jieping的 orthogonal LDA。 CAI Deng做了一個orthogonal LPP發在TIP上。他用的就是88年發在TPAMI上的方法，原理一模一樣。YE Jieping用的是同時對角化三個矩陣。風格不同，各有長短。個人還是傾向於CAI Deng用的那個方法。 4，Tensor revisited 在上一篇中，我談了tensor的方法，主要說了tensorfaces和NTF。這裏再多說幾句。 最近在tensor方面功夫最多的是YAN Shuicheng，最近的TPAMI, TIP, 和 CVPR'07都有他與此相關的文章。這對於發揚和推廣tensor的思想和方法確實是個好事情，我是贊同探討的。 另外，HE Xiaofei和CAI Deng也做過tensor subspace。準確地說，他們只是借用了tensor的概念，他們的方法可以和2D PCA, 2D LDA歸爲一類。 其實做這一塊東西最早的是YANG Jian的一個大師兄，在90年代PR上的工作，後來YANG Jian把它發揚光大，最初的結果就是PR和TPAMI上各一篇短文（2DPCA）。 最早把這類東西以tensor形式呈現的是CV中的大牛Amnon Shashua在01年CVPR上的論文，有興趣可以看看。不過，大牛終究是大牛，當他聽說了NMF以後，NTF立馬橫空出世（ICML'05）。這個中間的變化是質的跨越，能做出前面那種方法的可以說非常之多，能做出後面那種方法的真是寥寥。這是值得我們好好學習的。 （B.T.W.,Amnon此人並不只是學術了得，其妻子是以色列小姐  ，again，也值得大家學習的榜樣，特別是整天悶頭做科研的我們）在這裏要強調的是，我們不能完全否定一些簡單的東西，上軌道的或是正宗有深度的方法往往就是這樣慢慢做出來的。 5，其它 關於kernel的方法我就是點到而止。在上一個帖子中有人提出說說SVM和Boosting，如果誰有興趣，可以談談。 另外也有人說在上一個貼中我漏掉了Bayesianfaces，實際這個就是我在參數模型中提到的Probabilistic Subspaces方法。有興趣可以看看。 結束語 縱觀PAMI領域困擾紛爭，雖然我們達不到“跳出三界外，不在五行中”的境界，但是至少我們可以更好的看清楚這個領域的情況。如果你能站在一個高度看待這些東西，你就有可能認清你自己認爲有希望的方向在哪兒，從而更準確地找到自己的目標而少走彎路，或是更好地給自己定位。 寫這些東西，就是想幫助瞭解這一領域的人能全面準確地瞭解這一塊的東西，少走彎路。另外，對於已經諳熟於心的人，激發一個討論的話題。在上一篇貼子中，看貼的人多，回帖的人少，這個現象可不好。歡迎大家踊躍發言，良性討論，這樣纔會帶來更多益處，千萬不要擔心自己是新手，越是新手越需要發言。 俗話說：“亂世出英雄”，當今在PAMI領域正是需要英雄的時機，就是我在I中說的“我們正處在一個大有可爲的時代”，希望下次力挽狂瀾的是華人的名字。 以上盡是一家之言，歡迎大家批評指正、主動參與討論。 最後用王羲之的《蘭亭序》中的兩段話來抒情吧：） 夫人之相與，俯仰一世，或取諸懷抱，晤言一室之內；或因寄所託，放浪形骸之外。雖取捨萬殊，靜躁不同，當其欣於所遇，暫得於己，快然自足，不知老之將至，及其所之既倦，情隨事遷，感慨系之矣。向之，所欣俯仰之間，以爲陳跡猶不能不以之興懷。況修短隨化，終期於盡。古人云：死生亦大矣。豈不痛哉！ 每覽昔人興感之由，若合一契，未嘗不臨文嗟悼，不能喻之於懷。固知一死生爲虛誕，齊彭殤爲妄作。後之視今，亦猶今之視昔。悲夫！故列敘時人，錄其所述，雖世殊事異，所以興懷其致一也。後之覽者，亦將有感於斯文。 |