來源：http://blog.csdn.net/mutex86
摘要：我們現在處於信息爆炸的時代，各種海量信息充斥在我們周圍，如何能在海量的數據中搜索到我們想要的圖像是個很有挑戰性的研究課題。本文簡要分析了目前基於內容的圖像檢索（CBIR）的幾種主要方法，如顏色，紋理，語義和綜合多特徵等。最後還對基於內容圖像檢索的未來進行展望。
關鍵詞：CBIR；圖像檢索；顏色；語義
1引言
我們目前搜索信息主要是利用文本搜索，現在這種技術已經相當成熟，但是這種方式有很大的侷限性。CBIR不同於傳統的檢索手段，它是利用圖像的顏色，紋理，形狀，對象的空間關係等基本特徵進行檢索,並把這些量化特徵與圖像存儲在一起。其特點是：直接從媒體內容中提取信息線索；基於內容的檢索是一種近似匹配；特徵提取和索引建立常需要用人機交互的方法，學習人的主觀相似度感受。它主要使用的是基於相似度量的示例查詢方法。基於內容的圖像檢索可以突破很多限制，給人們的獲取信息帶來更大的方便，相比傳統的文本檢索有很大的優勢。圖像檢索雖然有巨大的應用潛力，但是目前的技術還不夠成熟，依然有很大的提升空間，這也吸引了很多科研工作者進行研究與探索。
2顏色特徵檢索
用顏色特徵進行圖像檢索最早是由Swain和Ballard提出的。他們的想法是利用顏色直方圖作爲圖像內容的索引特徵。利用顏色特徵進行圖像檢索可分爲兩類：全局顏色特徵檢索和局部顏色特徵檢索。
2.1全局色彩特徵檢索
全局色彩特徵檢索方法目前採用最多的是色彩直方圖的方法, Swain和Ballard主要採用直方圖相交（histogram intersection）和直方圖反向投射（histogram backprojection）兩種技術[1]。由於顏色與圖片中物體的形狀無關，所以算法比較簡單而且適用面很廣，而且這種方法的實時性也非常好。但是這個方法有個很大的缺陷就是丟失了像素之間的空間信息。這樣就會導致很多的誤差出現。後來有人提出以圖像的色彩聚合矢量 CCV ( color coherence vector)作爲圖像的索引,它是圖像直方圖的一種演變, 它將連續的像素點和孤立離散的像素點分離，取得了更好的效果，聚合矢量中的聚合信息在某種程度上保留了圖像色彩的空間信息。Huang提出顏色相關性進行圖像檢索的方法，採用和灰度共生矩陣相似的定義計算兩兩顏色之間的相似性，爲了減小計算量，一般只計算顏色的自相關。
2.2局部色彩特徵檢索
我們一般使用的搜索圖片中無用的或者有害的像素佔了很大比例，我們其實真正需要的只是圖片的某個局部信息。由於全局色彩特徵檢索獲取了整幅圖像色彩分佈的信息, 局部的重要信息就被弱化了。目前從劃分局部區域的角度來說可分爲:基於固定塊的圖像分割、基於手工的區域分割、採用交互的半自動的區域分割以及一些自動的色彩分割方法。局部區域中的色彩信息可以表示爲平均色彩、主色彩、色彩直方圖和二進制色彩集。Smith 和Chang採用色彩的自動分割方法,形成一個二進制的色彩索引集,在圖像匹配中, 比較這些圖像色彩集的距離和色彩區域的空間信息.色彩的空間關係主要有色彩區域的分離、包含、 交, 每種關係對應一定的評分, 查詢的空間距離是所有這些色彩區域所對應的空間關係的評分和[2]。
3基於紋理的圖像檢索
紋理是圖像的一個重要的特徵。準確的紋理定義並不存在，一種定義認爲紋理是由紋理基元按某種確定性的規律或者只有某種統計規律排列組成的。使用數學或信息論的方法抽取的紋理度量稱爲紋理特徵，紋理特徵可用來對圖像中的空間信息進行定量的描述。目前大部分學者認爲紋理分析算法的分類是統計法、結構法，模型和空間／頻域聯合分析[3]。
統計法是對圖像中顏色強度的空間分部信息進行統計得到紋理信息，該方法使用於廣泛的自然紋理和人工紋理。該方法的研究比較廣泛，典型的有灰度共生矩陣、低階矩與高階矩特徵統計、Laws紋理能量法。
結構法研究的出發點是紋理由紋理基元組成．對圖像中具有結構規律的特性加以分析而得到的紋理特徵。分析基元的方法最簡的是從基元之間的相位、距離、尺度等的統計法考慮，也可以考慮用比較複雜的方法分析，如句法。結構法主要適用於非常規的人工紋理，對於分析自然紋理圖像時很難得到令人滿意的效果。
由於空間／頻域聯合的紋理分析方法與人類視覺過程是相一致的，所以引起了學者的注意。主要有Gabor變換法和小波變換法等，其主要應用是在空域和頻域可以同時獲得較好的局部化特性的濾波器對紋理圖像進行濾波，從而獲得較爲理想的紋理特徵。這種分析方法在分析自然紋理圖像時可以取得一定的效果。
4基於形狀的圖像檢索
形狀作爲一種最爲重要的圖像特徵，是人們理解圖像的一個重要依據。調查顯示，在圖像檢索系統中人們更傾向於使用基於形狀的圖像檢索方法，因爲它更符合人們的視覺感知。但是，基於形狀的圖像檢索的真正實用化還有許多問題需要解決。例如，被認爲比較成功的IBM的QBIC檢索系統也只是在基於顏色和紋理的算法上能取得較滿意的效果，在基於形狀的檢索時還差強人意。形狀匹配是視覺信息系統、計算機視覺、模式識別和機器人等課題的中心課題，同樣基於形狀的圖像檢索也是研究怎樣有效地進行形狀匹配的問題。但是形狀是一種二維特徵，通常的做法是將二維特徵進行降維，變爲一維特徵，然後對一維特徵進行匹配。圖像檢索必須滿足平移、旋轉和尺度不變性，同時由於通常圖像數據庫都是非常龐大的，所以運算效率也是必須考慮的[4]。
研究形狀要解決的重要問題是形狀的描述，也就是形狀特徵的提取，是在形狀分割的基礎上實現的。獲得形狀特徵一般經過3個步驟：經過形狀邊界或區域的分割獲得原始像素數據；對形狀邊界或區域進行表達；在表達的基礎上對形狀邊界或區域進行抽象的描述。
形狀的描述可以分爲基於邊界的和基於區域的兩類，這種分類是基於形狀特徵是僅從邊界曲線中提取，還是從整個形狀區域中提取；對於每一類不同的方法，又進一步劃分爲結構的方法和全局的方法，這種子類的劃分是基於形狀的特徵的提取是源於一個整體還是部分：這些方法還可以進一步劃分爲空間域的方法和變換域的方法，這是基於形狀特徵是從空間域獲得的還是從變換域獲得。
5基於語義的圖像檢索
在CBIR中，基於底層的視覺特徵的圖像檢索不能滿足用戶的語義理解需求，爲了克服這一檢索方法的不足，我們引入了基於語義的圖像檢索。在用戶觀察圖像時，對圖像的概念往往是建立在圖像所描述的對象、行爲、表達的感情等的基礎上，結合了日常生活中積累的大量經驗，並根據知識推理得到圖像的語義。人對圖像的理解無法從圖像的底層視覺特徵直接獲得。圖像檢索的理想目標是使計算機按照人的主觀感覺和理解來檢索圖像，使計算機檢索圖像的能力達到人的理解水平，這就關係到人類視覺機制的瞭解。要使圖像檢索技術真正滿足用戶個性化的需要, 必須把圖像檢索看作一個系統, 考慮包括人在內的各種因素對於系統的影響. 其中主要的工作和麪臨的困難來自3個方面: ①必須提供圖像語義的有效描述方式; ②必須有提取圖像語義描述的方法; ③語義檢索系統的語義處理方法.對圖像語義的建模和表示、圖像語義的抽取方法和語義檢索系統的設計。
語義圖像檢索技術要取得突破性的進展，需要計算機視覺、模式識別、心理學、生物學等多個研究領域的密切合作和共同推動[5]。
6綜合多特徵的圖像檢索
圖像本身包含了豐富的信息，單一的檢索技術肯定都有各自的侷限性。所以我們很自然的聯想到使用多種特徵來進行檢索。綜合特徵檢索就是綜合圖像的顏色、形狀、紋理或空間位置等特徵表示，計算圖像特徵向量。各個特徵間應有一個權重關係，由用戶根據需要進行調整，以適於不同情況的查詢。如果綜合的特徵向量的維數過大的話，必須要採取各種方式進行降維處理。
由於不同特徵的物理意義不同，取值範圍也不同，這樣的特徵沒有可比性。，因此首先要進行特徵歸一，使綜合特徵的各特徵向量在相似距離計算中的地位相同。常見的歸一化的方法主要有線性放縮到單位區間，線性放縮爲單位方差，變換爲在[0,1]上的均勻分佈的隨機變量和排序歸一化。
當歸一化完成後，就可以將已獲得的特徵參數進行綜合。常見的綜合方式有顏色和紋理的綜合，顏色和形狀的綜合，形狀和紋理的綜合[6]。
7圖像相關反饋檢索技術
相關反饋技術首先是在文本檢索領域提出的．在文本檢索中，由於用戶通常不能準確地給出查詢表達以及特徵與語義間存在的間隔，初始的檢索結果通常不能讓用戶滿意。於是，用戶通過不斷地修改查詢表達以期得到更好的檢索結果，這被稱爲查詢優化(query reformulation)．相關反饋技術代替用戶來優化查詢，用戶只需要查看檢索結果並給出它們與用戶信息需求是否相關或相關程度的判斷，系統根據用戶反饋來構造更好的查詢表達或修改檢索策略中的參數以更好地把握用戶的信息需求。
按照在相關反饋過程中用戶的參與方式可以區分兩種用戶模式：“貪婪的”和“合作的”。目前大多數相關反饋的方案採用了貪婪的(greedy)用戶模式．它假設用戶是貪婪和沒有耐心的，可能在交互過程中隨時結束查詢過程，因此期望在每輪反饋後系統都給出儘可能好的結果．相應地，系統每次都把通過當前學習認爲最可能與查詢相關的(most—positive)圖像返回給用戶，這樣用戶在每輪反饋後就能得到當時系統所能給出的最好結果．相反地，如果用戶更合作，願意在看到最後結果之前進行更多輪的反饋，系統就可以做別的選擇，比如在每輪返回那些一旦被用戶標記就能獲得最有價值的反饋信息的圖像．這樣就得到另一種相關反饋方式：在用戶結束整個查詢前，系統在每輪用戶反饋後返回那些最能提供信息(most—informative)的圖像，在用戶結束整個查詢時，才把通過學習認爲是最可能相關的圖像返回給用戶．這種用戶模式被稱爲合作的(cooperative)用戶模式。
在反饋時，用戶查看這些檢出的圖像或其中的一部分，併爲它們給出相關與否的或相關程度的標記。通常使用以下三種方法[7]：
1. 基於距離度量的方法
在這類方法中，圖像檢索被看作一種是近鄰搜索，圖像被表示爲特徵空間中的一個點，然後根據圖
像特徵和查詢問的距離度量把忌幅離查詢最近的圖像檢出．常用的距離度量有Minkowski距離及其加權變形以及二次距離
2．基於概率框架的方法
另有一些方法採用的檢索模型類似於信息檢索中的概率模型(probabilistic modeI)[2]，用概率框架來描述檢索問題，它們往往都借鑑統計模式識別中的一些方法．文獻[10，18]中的方法也等價於在假設相關圖像的特徵服從高斯分佈的情況下，採用極大似然估計(MLE)來估計高斯分佈的參數．
3．基於機器學習的方法
近年來，許多工作把檢索看成不同類型的監督學習問題，比如一類的學習問題、兩類的分類問題或順序迴歸問題，並針對該學習問題的特點把各種機器學習方法引入到相關反饋算法的研究中．
8基於內容的圖像檢索效果評判
在基於內容的檢索中，由於檢索算法比較多，需要對各種算法的檢索結果進行評判，以比較其優劣檢索算法的評價方法能夠在相同的條件下找出最佳算法，使不同的檢索方法能更好地改進和提高，以使基於內容的檢索方法朝更好的方向發展從現在的研究情況來看，對於系統的響應時間和吞吐率的評價論述得較少，對檢索效果評價更多地放在對檢索結果的正確與否，主要使用的是查準率和查全率兩個指標查全率的主要含義是在一次查詢過程中，用戶所查到的相關圖像的數目和數據庫中與目標圖像相關的所有圖像數目之比；而查準率主要指在一次查詢過程中所查到的相關圖像數目同該次查到的所有圖像數目之比。用戶在評價算法的時候，可以預先選定含有特有目標的圖像作爲一組相關的圖像，然後根據返回的結果計算查全率和查準率查全率和查準率越高，說明該檢索算法的效果越好。
9目前研究中存在的主要問題和進一步研究的方向。
基於內容的圖像檢索已經深入應用到社會和生活的許多方面。目前,CBIR 的主要應用領域包括:電子會議、遠程教學、藝術收藏、博物館管理和電子圖書館、建築工程設計、遙感和地球資源管理、地球信息系統、科學數據庫管理、天氣預報、商業零售、織物時裝設計、商標和版權數據庫管理、公共安全和犯罪調查、圖像檔案和通訊系統、遠程醫療、智能羣體決策、防汛指揮[8]。信息時代的一個突出特點就是信息量的爆炸式增長和信息傳播的網絡化,對海量信息查詢,必須有一個有效、快速的搜索引擎. 目前的文本搜索引擎對文本信息的查找起着舉足輕重的作用,而對於圖像信息來說,就必須研究基於內容的圖像檢索技術,本文對目前的研究現狀進行了闡述. 雖然研究已取得很大進展,並且還開發了許多CBIR 系統,但離真正的實用階段還有一定的距離,許多方面還值得深入研究[9]:
如何提高查詢速度? 由於在實際應用中圖像數據庫很大,速度是優先考慮的問題之一,必須研究優化的檢索算法.除計算機硬件的限制外,特徵矢量的高維數和現有多維索引方法的低效性是影響查詢速度的主要原因,所以要深入研究如何降低特徵矢量維和建立有效高速的多維索引方法. 另外,研究壓縮域的檢索方法也是提高查詢速度的有效途徑.
目前使用的相似度計算基本上是基於數學比較,與人的視覺感知特性還具有一定的差距,因此,如何建立符合人眼特性的相似度計算模型,是一個不可迴避的研究課題.
需要深入研究圖像數據庫的數據模型. 因爲目前基於關係和對象的數據庫模型不能有效地管理圖像(視頻) 的空間關係、時間關係、空間- 時間關係等之間的同步,給圖像數據的檢索和管理帶來了一定的困難.
如何實現從低層物理特徵到高層語義特徵的轉換? 雖然這是計算機視覺所研究的傳統問題,但並沒有突破性進展。在CBIR 中如何實現這種轉換仍然是一個關鍵難題.
計算機網絡已成爲我們獲取圖像信息的重要來源之一,如何利用網絡特點來查詢圖像數據是十分必要的,並已有一些研究成果。隨着網絡技術的飛速發展,面向網絡的圖像查詢技術也應作深入的研究.圖像檢索技術的研究是一個涉及到多個領域的綜合性課題,是對計算機視覺技術、數據庫檢索和管理技術、用戶界面技術、數學建模技術、圖像分析處理技術、計算機網絡技術以及人類心理學等各個方面成果的融合,只有這樣才能建立一個高效、快速、實用的圖像檢索系統.
參考文獻：
[1] Swain MJ. Color indexing. International journal of computer vision. 1991-11;7:11-32.
[2] 趙晨,任鬱苗.基於形狀的圖像檢索技術研究[J].現代電子技術,2008,31(13):159-162.
[3] 閆晶瑩,王成儒,王雲曉等.基於紋理的圖像檢索[J].計算機安全,2010,(12):46-48.
[4] 徐珂.基於形狀的圖像檢索技術研究[D].國防科學技術大學,2007.
[5] 史美豔.基於語義的圖像檢索技術研究[D].山東大學,2011.
[6] 周金財.基於內容的多特徵組合圖像檢索的研究[D].南昌大學,2007.
[7] 吳洪,盧漢清,馬頌德等.基於內容圖像檢索中相關反饋技術的回顧[J].計算機學報,2005,28(12):1969-1979.
[8] 左渭斌.淺析基於內容的圖像檢索[J].現代營銷,2011,(9):221-221.
[9] 黃祥林,沈蘭蓀.基於內容的圖像檢索技術研究[J].電子學報,2002,30(7):1065-1071.