(轉載)基於形狀特徵向量的圖像檢索


基於形狀特徵向量的圖像檢索

轉載自:http://blog.csdn.net/huohunri2013/article/details/7965760

------------------------------------------------------------------------------------------------------------------------------------------



圖像檢索項目效果圖如下:

簡單圖像集:MPEG圖像集(裏面有大約有20個類,每個類20個二值圖像)。圖像集特點:圖像中都是單一對象,這樣更容易凸顯出圖形的特徵,從而更容易用評價PAF算法的好壞。

以下是針對MPEG圖像集的檢索效果圖:

 

 

                                                                                           

再來一張

 

 

接下來是將提取的形狀特徵向量與其它的特徵向量(如顏色、紋理等)相結合,對標準的圖像集進行圖像檢索。

 

標準圖像集:corel5K圖像集

圖像集特點:比較完美的圖像集,考慮到顏色、紋理,形狀等多方面的因素。

檢索效果圖:

   

檢索界面:

 

單擊檢索界面點擊左側SubmitQuery Image彈出選擇檢索圖像界面:

 

選擇圖像界面,點擊其中一幅圖像:

 

預檢索階段點擊Search可直接進行圖像檢索或在右側Query Key words裏輸入檢索

詞,可進行聯合圖像與詞的聯合檢索。

 

聯合檢索:在檢索詞中輸入sun

 

通過評價函數,對PAF算法進行評價。結果圖:

圖中最上面的曲線是PAF+質心距離提取形狀特徵向量算法的Recall-Precision曲線。中間的是質心距離的。最下面的是PAF自己的。接下來開始的是項目介紹:

圖中最上面的曲線是PAF+質心距離提取形狀特徵向量算法的Recall-Precision曲線。中間的是質心距離的。最下面的是PAF自己的。接下來開始的是項目介紹:

基於一種改進的提取形狀特徵向量方法,實現圖像檢索

 

一. 工作目的與工作內容

   工作目的:爲了找到一種更好的提取形狀特徵向量的方法。

工作內容:將“Shape retrieval using combined Fourierfeatures”論文中提到的Perimeter areafunctionPAF)方法,通過評價函數(金鑫寫的統計Recall率和Precision率,用來對檢索效果進行評價的函數)與以往的提取特徵向量方法做比較。並將其結合其他圖像處理技術,實現圖像檢索。

二. Perimeter area function(PAF)的原理

2.1變量介紹:在形狀邊界上按順時針方向連續取N個點(points)。和是邊界點座標。N代表邊界點的個數。因爲形狀輪廓邊界是封閉的,所以。質心點O的座標是通過公式和公式給出的。

 

 

2.2PAF方法具體算法步驟如下:

1. 對每個邊界點計算質心距離.

2 .以爲基點,逆時針跟蹤邊界,找到距點爲弧長的點,記爲。同理,沿着順時針跟蹤邊界找到距離爲的點,記爲(如圖Fig2)。

1  Fig2

因爲形狀邊界是一條數字曲線,一定位於相鄰點(假設是點和點)連接的一條線段上。如果,則的橫座標,縱座標。如果,按照公式和分別計算點的橫縱座標,式子中的求法爲:。同理,我們可以得到點的橫座標和縱座標。在這裏,,,三個點組成一個三角形,這個三角形的面積,                   (注意,行列式的每一行的順序不能顛倒)

通過以上的步驟,會產生一個以三角型面積爲元素的序列,其中k=012,···,N-1。這個序列就是一個嶄新的特徵向量(即PAF)。值得一提的是:PAF刻畫的是圖形輪廓邊界局部的信息,每一個是由行列式求的的,所以含有正負。而質心距離既刻畫了形狀邊界的全局信息也刻畫了形狀邊界的局部信息。

三.項目任務分配(深感項目負責人不好當)

將編寫的程序分爲四部分:

第一部分:特徵向量的提取—————提取三種特徵向量:

1. 質心距離特徵向量(提取之後進行傅立葉變換)

2. PAF特徵向量(文中提到的面積特徵向量,提取之後進行傅立葉變換)

3. 聯合特徵向量(  fftPAF)前16維和 fftCD)前16維組成的混合特徵向量)

需要注意的是:聯合特徵向量的提取方法爲

其中a代表經過傅立葉變換之後的CD特徵向量,B代表經過傅立葉變換之後的PAF特徵向量。

第二部分:利用第一部分生成的三種特徵向量分別進行循環檢索,分別生成3個檢索矩陣。矩陣中每一行代表一個圖像id號檢索的結果序列。此部分生成的結果矩陣用於統計函數統計。

第三部分:對檢索結果進行循環統計。根據統計圖像個數的不同,得到不同的Recall-Precision統計結果。對於MPEG-7圖像集可以得到1400對兒Recall-Precision值。

第四部分:利用第三部分得到的Recall-Precision數值,描繪出Recall-Precision統計結果圖。

四.檢索效果圖和評價結果圖

效果圖和評價的結果圖見本文開頭。評價圖中最上面的曲線代表聯合特徵向量(CD+PAF)的Recall-Precision。中間的曲線代表質心距離的Recall-Precision結果圖。第三條曲線代表PAF統計結果圖。對結果圖進行分析,可以發現我們暫時我做的還不理想,照論文中給的結果還有差距。希望在日後慢慢完善。

五.我的建議和新的想法

 1)我們之前的一個想法是有可行性的,即:以爲原點,除了以爲弧長找、以外,還可以分別以爲弧長找另外兩組點(假設爲和),這樣就可以形成三組不同的PAF特徵向量,聯合這三組特徵向量進行檢索,檢索效果有顯著提高。我在其它的圖像集驗證過,但是在MPEG-7leaf圖像集還沒有做相關試驗,因爲現在CDPAF基本的算法還沒有達到論文中的要求。

 2)關於爲什麼沒有達到論文中的效果我做了幾個猜想:

   1.傅立葉變換用錯了,在形成的CD特徵向量之後直接運用了Matlab中自帶的fft()函數,可是我觀察論文中有提到歸一化的問題,可能是我們沒經過歸一化處理。

    2.統計函數可能存在問題,因爲統計函數不是我親手做的,而是我將金鑫已經做好的關於詞檢索的統計函數改成了圖形檢索的統計函數。可能在我改的過程中引入了Bug

    3.將MPEG-7圖像集讀入Matlab之後,發現圖像都是二值圖像,我直接用跟蹤函數獲取了圖像信息,並沒有對二值圖像進行任何平滑處理。          

這個是我項目組成員的全家福了,左邊第一個童鞋叫段聰(萬能聰),黑客高手,大一的時候把我血虐。第二個就是本人了,當時比較壯,現在是虛胖。第三個是嶽青宇,給人很踏實的感覺。第四個是金鑫(本次項目的評價函數就是他寫的,下面文中有提到)。最後一個,人看起來挺邋遢,不過我們很多事情都要指望他的。

這個是工作室照片,轉眼間要各奔東西了···小傷感一下。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章