論文閱讀筆記:A closed form solution to natural image matting

文章翻譯來源:https://blog.csdn.net/u013044310/article/details/79537785

自然圖像摳圖閉合方案

摘要

交互式數字摳圖,基於有限的用戶輸入從圖像中提取前景物體是圖像和視頻處理中非常重要的任務。從計算機視覺角度,這個任務非常具有挑戰性,因爲它是一個病態問題,每個像素上都必須估計前景和背景的顏色,還有單通道顏色的前景不透明度(alpha磨砂)。當前的方法將估計嚴格限制在圖像的一小部分,基於已知像素附近估計前景和背景顏色,或者用alpha估計反轉前景和背景顏色迭代執行非線性估計。

本文提供了自然圖像摳圖閉合方案。我們從前景和背景顏色中推導出一個代價函數,在得到的表達式中可以消除前景和背景顏色在alpha通道上得到一個二次代價函數。這使得我們可以解等式的一個稀疏線性系統找到全局不透明alpha模糊。接着,對於閉合方程,分析稀疏矩陣的特徵向量可以估計方案的特徵,這與光譜圖像風格算法中的矩陣非常接近。只需要用戶非常少的輸入,就可以在自然圖像上得到高質量的摳圖。

1  簡介

自然圖像摳圖和合成,在圖像和視頻編輯中是至關重要的。

圖像摳圖方法將圖像I作爲輸入,是前景圖像F和背景圖像B的組合。第i個像素的顏色是對應前景顏色和背景顏色的組合:αi是像素前景不透明度。在自然圖像摳圖中,等式1中右邊所有量都是未知的。因此,對於一個3通道的彩色圖像,每個像素有3個等式7個未知數。

顯然,這是一個嚴重的欠約束問題,需要用戶交互獲得一個良好的摳圖。最近的方法都需要用戶提供一個成3的圖像作爲開始;一個例子如圖1(e)所示。成3地圖是一種硬性(通常是手繪)的分割,將圖像分成3個區域:前景(白色),背景(黑色)和未知區域(灰色)。給定一個成3圖像,這些方法通常要同時得到F,B和α。在實踐中,這意味着要想獲得一個好的結果,成3圖像中的未知區域要儘可能地小。當然,成3圖像方法通常很難處理像素混合部分,或者當前景物體有很多洞的時候,如論文15。在這樣非常有挑戰的情況下,經驗和用戶交互對構建一個成3的圖像非常有必要,可以生成一個好的摳圖。成3圖像接口的另外一個問題是在圖像上非常重要的部分用戶很難對摳圖產生影響:也就是像素混合的地方。

圖1. (a)稀疏約束的圖像:白色的筆刷是前景,黑色的筆刷是背景。在這樣的稀疏輸入圖像中應用貝葉斯摳圖會生成一個完全錯誤的摳圖(b)。前景提取算法,如論文9,11,生成一個比較硬的分割(c)。從一個比較硬性的分割中自動生成的圖片可能會丟掉精細的特徵(d)。一個精確的手繪圖像(e)會生成比較合理的摳圖(f)。(圖片來源於論文15)

本文提供了一種新的閉合形式方案用於從自然圖像中提取alpha摳圖。從前景和背景顏色F和B上的局部平滑中得到一個代價函數,從結果的表達式來看,可以消除F和B,生成一個α的二次代價函數。這種方法生成的alpha摳圖是這個代價函數的全局最優,可以通過解稀疏線性方程組得到。既然,只需要直接計算α,而不需要估計F和B,也就需要很少的用戶輸入(比如一組稀疏的筆刷),足以提取高質量的摳圖。然後,閉合形式公式可以通過檢驗稀疏矩陣的特徵向量理解和預測方案的特徵,和光譜圖像分割中的矩陣非常相近。爲了給這個方法提供強有力的理論基礎,這些分析在應該往哪裏放筆刷時給用戶提供了非常有用的提示。

1.1  之前的工作

大部分現有自然圖像摳圖方法都要求輸入圖像處理成成3圖片,將每個像素標記成前景,背景或未知。這些方法的目標就是要解組成方程組等式1的未知像素。這通常都是使用F和B的局部正則化,估計未知區域每個像素的值來處理。論文2 Corel KnockOut算法中,假設F和B是光滑的,基於已知前景和背景像素的加權平均進行估計(越近的像素權重越高)。有的算法,論文5和12,假設局部前景和背景服從一個相對簡單的色彩分佈。可能大部分成功的算法是貝葉斯摳圖算法,如論文5,方向高斯分佈的組合可以得到局部分佈,估計合適的α,F和B得到這個分佈。當前景和背景色彩分佈不重疊,成3地圖中的未知區域非常小的時候,這個方法非常好。圖1(b)中所示,一組稀疏的約束可能會生成一個完全錯誤的摳圖。相反,我們的方法使用F和B的特定平滑,不需要估計這些函數的值,直到磨砂部分被提取之後。

論文14的泊松摳圖方法,也需要成3地圖作爲輸入的一部分,用磨砂梯度場和Dirichlet邊界求解泊松方程 計算混合區域的alpha磨砂。在全局泊松摳圖方法中,磨砂梯度場用▽I/(F-B)近似估計,使用了等式1的梯度,忽略了F和B中的梯度。這樣就可以找到磨砂,通過解一個方程就可以了,它的梯度與估計的磨砂梯度場非常相近。只要未知區域不足夠平滑,生成的磨砂可能就不正確,另外,在磨砂梯度場應用交互式的局部操作以獲得滿意的方案。這種交互式的優化過程就是局部泊松摳圖。應該可以看到,我們的方法在F和B上的要求更弱,但可以生成更精確的磨砂。

最近,提出了幾種從背景中提取全景物體的成功方法,如論文3,9和11所示。兩種方法都將簡單的用戶指定約束(比如,筆刷或者矩形)轉換成最小分割問題。解決最小分割紋理生成一個硬性二值分割,而不是一個微弱的alpha磨砂(如圖1(c))。硬性分割可以通過侵蝕轉換成一個成3圖片,但這可能還是會丟失一些細微的或模糊的特徵,如圖1(d)所示。儘管在硬邊界附近的窄帶上擬合一個參數化alpha特徵進行邊界摳圖,但這更像是羽化而不是全alpha摳圖,更寬的模糊區域是無法用這種方式來處理的。

我們的方法和論文7的彩色化方法,論文6的隨機遊走alpha摳圖方法,非常相似。這兩種方法最小化二次代價函數傳遞筆刷約束。這裏我們採用了相似的策略,但我們的假設和代價函數進行了修改,以更好的適應摳圖問題。

另一個基於筆刷接口的交互式摳圖是論文15提出的。從表示少量背景和前景像素的筆刷開始,他們使用簡單傳遞迭代地估計圖像像素中的未知數。這個方法得到的結果令人印象深刻,但在使用非線性優化過程時,還是有缺點的,它可能會收斂到一個不同的局部最小值。

 

2  推導

 爲了更清楚地分析,先推導一個灰度圖像的alpha摳圖閉合形式方案。這個方案在2.1節會擴展到彩色圖像中。

如之前提到的,摳圖問題是一個嚴重的欠約束問題。因此,對F,B和/或α的假設是必要的。爲了推導灰度圖方案,我們假設F和B是每個像素附近小窗口上的近似常量。注意假設F和B局部平滑,並不意味着輸入圖像I是局部平滑的,α不連續意味着I不連續。這個假設,在2.1節會被放寬,這樣就可以重寫等式1,將α表示成圖像I的線性函數:

其中和w是小的圖像窗口。這個線性鬆弛與之前論文17中所用的比較相似。我們的目標是找到α,a和b,最小化代價函數

其中wj是像素j附近的小窗口。

上面的代價函數包括a的一個正則化項。添加這個項的一個理由是數值穩定性。比如,如果圖像是第j個窗口上的常量,沒有先驗信息,aj和bj並不能唯一確定。還有,最小化偏差的範數,方案會變成更平滑的α磨砂(aj=0意味着α是第j個窗口上的常量)。

在實現過程中,通常會使用3×3像素的窗口。在每個像素周圍放一個窗口,等式3中的窗口wj會重疊在一起。這種屬性使得相鄰像素間的信息重疊。代價函數是α,a和b的二次函數,對一個有N個像素的圖像,有3N個未知數。幸運的是,如下所示,a和b可以從等式3中消除,剩下只有N個未知數的二次代價函數:像素的alpha值。

定理 1

定義J(α)爲:

那麼

其中L是一個N×N的矩陣,它的第(i,j)元素是:

這裏δij是克羅內克δ函數,μk和是k附近窗口wk的亮度的均值和方差,|wk|是窗口中像素的數量。

*********************************************************************************************

這裏的推導公式有點跳,但下面的證明有文字說明,從3式開始,如何用矩陣形式重寫等式3:

 

         

 

*********************************************************************************************

證明:用矩陣形式重寫等式(3),可以得到

 

對於每個窗口wk,Gk定義爲一個(|wk|+1)×2的矩陣。對於每個i∈wk,Gk包含了一排   [Ii,1],Gk的最後一排是。對於一個給定的磨砂α,可以定義是一個(|wk|+1)×1的向量,對於每一個i∈wk,定義爲αi,它最後一個元素是0。和Gk中的元素都是順序對應的。

對於一個給定的磨砂α,每個窗口wk中的最優對是最小二乘問題的最優解:

 

將這個解代入等式6中,將Gk表示爲

我們得到

更多的線性代數計算,的第(i,j)個元素可以表示爲:

 

對k求和,可以得到等式5。

 

2.1  彩色圖像

 

一個簡單的方法將代價函數應用到彩色圖像中,就是在單獨在每個通道中應用灰度代價函數。我們還可以用一個4D線性模型取代等式2的線性模型:

種合併線性模型的一個好處是它放寬了之前的假設,即每個窗口上的F和B是常數。其實,這已經足夠了,在一個小窗口上,F和B是兩種顏色通道的線性混合;也就是說,小窗口中Fi的值在RGB顏色空間中的某條直線上:,對背景來說Bi的值也是這樣的。在本文剩下的部分,我們稱這種假設爲顏色線性模型

這個模型非常有用,比如,具有恆定漫反射的表面上的陰影變化。另外一個例子是,窗口包含了同屬於前景和背景的兩個統一的顏色區域之間的邊緣。還有就是,論文10展示了在很多自然圖像中RGB空間中的像素顏色往往形成一個相對少量的細長簇。儘管這些簇不是直線,但它們的輪廓基本上是局部線性的。

定理 2

如果窗口中前景和背景顏色滿足顏色直線模型,有表達式:

 

證明:用線性組合

替換等式1,其中F1,F2,B1,B2是小窗口上的常量,可以得到:

************************************************************

將B2移到等式左邊,寫成矩陣相乘的形式:

**************************************************************

設H是一個3×3的矩陣,它的第c排是。那麼,上式就可以寫爲:

其中,Ii和B2是3×1的向量,表示3個彩色通道。將H-1的第一行的元素記爲a1,a2,a3,將H-1的第一行的向量B2作標量乘法,乘以b。得到αi=Σc ac Ii+b。

使用等式9的4D線性模型,可以定義RGB圖像的摳圖代價函數爲:

與灰度圖情況類似,代價函數中的和b可以消掉,生成關於未知數α的二次代價函數:

這裏L是一個N×N的矩陣,它的第(i,j)個元素是:

其中,Σk是一個3×3的協方差矩陣,μk是一個3×1的窗口wk的顏色均值向量,I3是一個3×3的識別矩陣。

我們將等式5和12中的矩陣L稱爲拉普拉斯摳圖矩陣。注意,L每行元素的和爲0,因此L的零核空間包含了常數向量。如果 ε=0,L的零核空間也就包含了I的每個顏色通道。

  

3  約束和用戶接口

 

在我們的系統中,用戶施加的約束通過筆刷GUI提供。用戶使用背景筆刷(黑色筆刷)指示背景像素(α=0),前景筆刷(白色筆刷)指示前景像素(α=1)。

爲了提取alpha磨砂匹配用戶筆刷,我們解如下方程

其中,S是筆刷像素集,si是筆刷所指的值。

定理 3

I是等式1中前景和背景形成的圖像,α*是真實的alpha磨損。如果每個局部窗口wk中F和B滿足顏色直線模型,如果用戶指定的約束S與α*是一致的,那麼α*是等式13的一個最優解,其中L構建時ε=0。

證明:既然ε=0,如果每個窗口wk滿足顏色直線模型,它就滿足等式10 的定義J(α*,a,b)=0,因此,J(α*)=α*TLα*=0。

圖2. 摳圖例子。(a,c)帶有筆刷的輸入圖像。(b,d)提取的磨砂圖層。

我們在圖2中演示了這些論述。圖2(a)第一個圖像是一個合成的圖像,計算機在一個簡單的背景和幾個顏色波段上模擬(單色)合成的,滿足顏色線性模型。黑白筆刷是輸入約束。我們的方法提取的磨砂圖層(如圖2(b))與基準磨砂完全一致。第二個例子(圖像2(c))是一個真實的圖像,前景和背景顏色融合在一起。只刷了黑白兩個點,就可以提取高質量的磨砂圖層(如圖2(d))。

4  光譜分析

拉普拉斯摳圖矩陣L是一個正定對稱矩陣,如定理1和其證明所示。這個矩陣也可以寫爲L=D-W,其中D是一個對角矩陣D(i,j)=Σj W(i,j),W是一個對稱矩陣,它的非對 角元素由等式12定義。因此,矩陣L是光譜分割中的摳圖拉普拉斯矩陣,等式12提供了一種新型的親和函數。爲了方便對比,定義親和函數的典型方法(比如論文13中的歸一化切割圖像分割算法)是設置:

其中σ是一個全局常量(通常是手動選擇的)。這個相似函數對相近顏色附近的像素比較大,當顏色差遠大於σ時,接近於0。論文6的隨機遊走摳圖算法使用了一個類似的親和函數用於摳圖問題,但是兩個像素之間的顏色距離在顏色線性變換後取值。這個變換依賴於圖像,用流形學習技術進行估計。

相反,重寫拉普拉斯摳圖矩陣L=D-W,可以得到如下親和函數,可以稱其爲摳圖親和函數

爲了獲得摳圖親和函數的直觀感受,考慮一個包含了兩種顏色(比如,一個理想的邊緣)的圖像區域。在這個例子中,相同顏色的兩個像素間的親和函數的值隨着距離的增大而減少,不同顏色的像素間的親和值爲0。通常,標準的親和函數也是類似的狀況:相似顏色的像素之間的親和值比較高,不同顏色像素之間的親和值比較小。但是,需要注意的是摳圖親和函數並沒有一個全局縮放參數σ,而是使用的均值和方差的局部估計。後面會講到,這種適應性的特點會在性能上有非常顯著的提升。論文16中也有相似的情況,也是採用了局部參數縮放提升了圖像分割的結果。

爲了比較兩個親和函數,它們對應的拉普拉斯最小特徵向量,因爲這些特徵向量在光譜分割算法中用於風格圖像。

 圖3:不同拉普拉斯的最小特徵向量

圖3展示了兩個樣例圖像的拉普拉斯矩陣的第二小的特徵向量(最小的特徵向量在兩個案例中都是常量圖像)。第一個例子是一個有不同顏色同心圓的簡單圖像。在這個例子中,區域的邊界非常簡單,兩個拉普拉斯都正確地捕捉了顏色變換。第二個例子是一個孔雀圖像。全局σ特徵向量(歸一化分割算法所使用的)不乏捕捉孔雀尾巴羽毛和背景之間的複雜模糊的邊界。相反,拉普拉斯摳圖特徵向量很好地將孔雀從背景中分離出來。這個例子中的拉普拉斯摳圖是用ε=0.0001計算的。

4.1  特徵向量作爲引導

 如果沒有用戶輸入,這個摳圖問題是一個病態問題,摳圖拉普拉斯矩陣包含了圖像上的很多信息,甚至在提供任何筆刷之前,如之前的章節所描述的那樣。

也就是說觀測最小的摳圖拉普拉斯矩陣的特徵向量可以引導用戶在哪裏畫筆刷。比如,提取的磨砂往往在相同的區域內是分段常數,最小的特徵向量是分段常數。如果特徵向量圖像中的一個分區的值是連貫的,在這個分區中的筆刷足以將這個希望的值傳遞到整個分區中。另外一方面,圖像上特徵向量的值較少連貫的困難區域中,建議多做一些筆刷。

更確切地說,alpha磨砂可以通過檢查拉普拉斯摳圖矩陣的最小特徵向量來確認,因爲等式13的最優解是更小的特徵向量生成儘可能大的區域。事實上,可以限制權重,最優解會分配更大的特徵向量,作爲對應特徵值的比值的函數。

 

圖4.最小的特徵向量(a-b)用於引導筆刷放置(c)。生成的磨砂圖層如(d)所示。

圖4顯示了一個畫筆刷的過程如何被特徵向量引導的過程。通過檢查最小的兩個特徵向量(圖4(a-b)),在每個連續特徵向量值(圖4c)內放置筆刷。生成的磨砂如圖4d所示。注意圖4c中的筆刷是第一次嘗試放置筆刷。

 

5  結果

這裏演示了通過受筆刷約束的拉普拉斯摳圖矩陣最小化方法,用閉合形式方案提取alpha磨砂圖層。既然拉普拉斯摳圖矩陣是alpha上的二次函數,最小值可以通過解一個稀疏線性方程組得到。通常用3×3的窗口定義拉普拉斯摳圖矩陣。當前景和背景的顏色分佈不是很複雜時,用更寬的窗口時有幫助的。然而,生成的系統更稠密,用更寬的窗口會增加計算時間。爲了克服這個問題裏,採用與圖像的alpha磨砂通道的線性係數(等式9)。用一個較寬的窗口在一個更精細的分辨率上得到的係數與從一個粗糙的圖像上一個較小的窗口中獲得相似。因此,可以用一個粗糙圖像上的3×3的窗口解得alpha磨砂通道,計算粗糙圖像的線性係數。可以對線性係數插值,將其應用在一個更精細的分辨率圖像上。用這個方法獲得的alpha磨砂通道與用更寬的窗口在更精細的圖像上直接求解摳圖系統時相似的。更詳細的內容如論文8所示。【參考文獻的論文8是本文的TechnicalReport】

本文演示的結果是直接在matlab裏面解決摳圖系統的(“blackslash”運算符),在一個2.8GHz的處理器上處理200×300的圖像用了20秒。用matlab處理大圖,由於內存的限制,基本不可能。爲了克服這個問題,可以使用一個由粗到細的算法。對圖像和筆刷降採樣,在一個更低的分辨率上處理。重構的alpha通道可以插值成更高的分辨率,alpha值是閾值,alpha值接近0或1的像素作爲更精細分辨率的約束。約束像素可以從系統中消除,減少系統的規模。也可以用多網格處理來做磨砂提取。多網格處理處理非常大的圖像只需要幾秒,但磨砂質量會有所下降。

這裏只演示了提取alpha磨砂。注意,如果分解背景,需要解決F。找到磨砂後,可以從等式10中直接得到ac和b的係數,從它們中提取前景和背景。然而,我們發現前景和背景的更好估計可以從解決一組F和B的新的線性方程組得到,通過引入F和B的一些明確的光滑先驗信息到等式1中得到。前景重建和組成結果的更多信息可以在論文8中找到。

圖5. 不同算法提取的alpha磨砂圖層的對比。圖像(a,c,e,g,i,k,m,o)從論文15中提取的。剩下的圖像是用各種方法生成的。

圖5顯示了用我們的方法從論文15中兩個比較有挑戰的圖像提取的磨砂圖層,與其他幾種算法比較了結果。可以看到,在這些案例中,我們的算法是有競爭力的,即使我們使用了一種非常簡單的算法。全局泊松摳圖無法從稀疏的筆刷中提取高質量的磨砂圖層,儘管它在一個成3地圖中性能非常好。論文6的隨機遊走摳圖也是最小化拉普拉斯矩陣,但使用了一個全局縮放參數的親和函數,因此在孔雀圖像中非常困難。

圖6. 用兩個基準磨砂圖層進行定量比較。i和j中的誤差作爲背景平均梯度強度的函數繪製的,分成10個條形圖。爲了生成各個方法的執行結果,使用了原論文中指定的參數值。

爲了獲得這些算法的定量比較,我們用帶有比較基準的合成圖像做了實驗。我們隨機地從圖6(h)中提取了2000幅子圖像。我們用每個子圖作爲背景,用兩個不同的alpha磨砂圖層組成一個統一的前景圖像:第一個磨砂圖層是一個計算機模擬的煙的圖像,圖像的大部分都是透明的;另外一個磨砂圖層是一個圓圈的一部分,大部分不透明的部分都是羽化邊界。磨砂圖層如圖6c所示。接着,我們得到了4000個成分圖像,其中兩個如圖6a所示。在這組圖像中,我們比較了4中摳圖算法的性能,Wang和cohen,全局泊松摳圖,隨機遊走摳圖和我們的方法(用不帶金字塔的3×3的窗口)。所有的算法都提供了一個成3地圖作爲輸入。成3地圖和不同方法生成的結果的例子如圖6 a,d-g所示。對每個算法,我們都計算了提取的磨砂圖層和基準圖層的絕對平方誤差和。圖6 i,j 繪製了4種作爲背景平滑函數的算法的平均誤差(我們測量了平均梯度強度,分到10個條形圖中)。煙霧磨砂圖層的誤差繪製在圖6i中,圓圈磨砂圖層的誤差繪製在圖6j中。如果背景平滑,所有的算法在兩個磨砂圖層上性能都比較好。當背景包含比較強的梯度時,全局泊松摳圖性能比較差(它假設背景和前景的梯度是可以忽略的)。剩下的算法中,我們的算法得到最精確的結果。

 

圖7 . 論文15中的一個前景和背景之間的顏色模糊的例子。(a)論文15 的筆刷和磨砂圖層;(b)論文15中用成3地圖生成的結果;(c)我們用於a相似的筆刷生成的結果;(d)我們的方法用更多的筆刷生成的結果。

圖7 展示了論文15中的例子,由於前景和背景的顏色模糊,Wang和Cohen的方法無法從筆刷中提取比較好的磨砂圖層。相同的方法,應用成3地圖時,可以生成一個可接受的磨砂圖層。我們的方法生成一個更乾淨,但從相同的筆刷中也不是很完美的磨砂圖層,但添加了一些筆刷後生成更好的磨砂圖層。

 

圖8. F和B之間顏色模糊的一個案例

圖8顯示了另一個例子(論文14中的Koala圖像的一個特寫鏡頭),前景和背景顏色是模糊的。在這個例子中,我們的方法生成的磨砂圖層明顯好於Wang-Cohen方法生成的圖層。爲了更好地理解爲什麼是這樣的,用RGB直方圖表示F和B筆刷中的像素。背景中有些像素可以更好地匹配前景顏色模型,勝過背景(這樣的像素在圖8b中標爲紅色,在圖8d中用箭頭指示)。最後,這樣的像素在第一階段在高不確定情況下被分爲前景。一旦做了這個錯誤,只在那個像素附近加強進一步錯誤的決定,在磨砂圖層上生成一個白色叢。

我們的方法並沒有使用F和B的全局顏色模型,它就可以處理圖8那樣的模糊狀況。然而,也有一些例子,我們的方法出於同樣的原因而無法生成精確的磨砂圖層。圖9顯示了兩種顏色背景下的一個女演員。甚至儘管黑色B筆刷涵蓋了兩種顏色,生存的磨砂圖層還是含有部分背景(在左邊頭髮和肩膀之間)。在這樣的例子中,用戶必須在這個區域添加另外的B筆刷。

 

圖9. 由於缺少顏色模型而失效。

6  討論

摳圖和組合是圖像和視頻編輯中最重要的任務,給計算機視覺帶來了巨大挑戰。這個過程定義要求用戶交互,大部分現有算法的性能隨着用戶輸入的減少而迅速惡化。本文,基於前景和背景顏色平滑變化,我們引入了一個代價函數,演示瞭如何消除前景和背景顏色獲得一個alpha上的二次代價函數。生成的代價函數與圖像分割光譜方法中得到的代價函數非常相似,從摳圖問題的公式中推導親和函數。代價函數的全局最小化可以通過解一組稀疏線性等式找到。實驗表明,在真實和合成圖像上,我們的算法明顯優於沒有從摳圖等式中推導二次代價函數的那些算法。實驗結果還表明,我們的結果比那些更復雜、非線性的代價函數中得到的結果更有競爭力。然而,與之前非線性方法對比,可以在很短的時間內得到方案,我們證明了我們方法的特點,通過分析運算子的特徵向量,給用戶提供了指導。

我們的方法假設前景和背景顏色平滑,但沒有要求每個分區的全局顏色分佈。實驗表明,局部平滑要求對自然圖像更有用。然而,可以將我們的公式擴展到兩個分區上包含更多的假設和要求(比如,全局模型,局部紋理模型,等等)。目標是整合進更復雜的模型,前景和背景更復雜的那種,用簡單的數值線性代數獲得更高質量的結果。

PAMI上,需要再閱讀一下。

公式推導過程參考:

Soft Matting 中所使用 Matting Laplacian Matrix 元素通項的推導

http://www.aiuxian.com/article/p-1153890.html

A closed form solution to natural image matting。《Computer Vision for Visual Effects》講解筆記。

http://blog.csdn.net/d_nel/article/details/44133197

參考文獻

[1] N. E. Apostoloff and A.W.Fitzgibbon. Bayesian video matting using learnt image priors. In Proc. CVPR,2004.

[2] A. Berman, P. Vlahos, and A.Dadourian. Comprehensive method for removing from an image the backgroundsurrounding a selected object. US Patent no. 6,135,345, 2000.

[3] Y. Boykov and M. P. Jolly.Interactive graph cuts for optimal boundary & region segmentation ofobjects in n-d images. In Proc. ICCV, 2001.

[4] Y. Chuang, A. Agarwala, B.Curless, D. Salesin, and R. Szeliski. Video matting of complex scenes. ACMTrans. Graph., 21(3):243–248, 2002.

[5] Y. Chuang, B. Curless, D.Salesin, and R. Szeliski. A Bayesian approach to digital matting. In Proc.CVPR, 2001.

[6] L. Grady, T. Schiwietz, S.Aharon, and R.Westermann. Random walks for interactive alpha-matting. In Proc.VIIP05.

[7] A. Levin, D. Lischinski, andY. Weiss. Colorization using optimization. ACM Transactions on Graphics, 2004.

[8] A. Levin, D. Lischinski, and Y. Weiss. A closed form solution to natural image matting.  Hebrew UniversityTechnical Report, 2006.

[9] Y. Li, J. Sun, C.-K. Tang,and H.-Y. Shum. Lazy snapping. ACM Trans. Graph., 23(3):303–308, 2004.

[10] I. Omer and M. Werman. Colorlines: Image specific color representation. In Proc. CVPR 2004, June 2004.

[11] C. Rother, V. Kolmogorov,and A. Blake. ”grabcut”: interactive foreground extraction using iterated graphcuts. ACM Trans. Graph., 23(3):309–314, 2004.

[12] M. Ruzon and C. Tomasi. Alphaestimation in natural images. In Proc. CVPR, 2000.

[13] J. Shi and J. Malik.Normalized cuts and image segmentation. In Proc. CVPR, pages 731–737, 1997.

[14] J. Sun, J. Jia, C.-K. Tang,and H.-Y. Shum. Poisson matting. ACM Trans. Graph., 23(3):315–321, 2004.

[15] J. Wang and M. Cohen. Aniterative optimization approach for unified image segmentation and matting.In Proc. IEEE Intl. Conf. on Computer Vision, 2005.

[16] L. Zelnik-Manor and P.Perona. Self-tuning spectral clustering. In Advances in Neural InformationProcessing Systems 17. 2005.

[17] A. Zomet and S. Peleg.Multi-sensor super resolution. In Proceedings of the IEEE Workshop on Applicationsof Computer Vision, 2002.

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章