超分論文綜述( DualCNN,Deep SR-ITM ,DSGAN)

論文來源:

[1] Pan, J., Liu, S., Sun, D., Zhang, J., Liu, Y., Ren, J., ... & Yang, M. H. (2018). Learning dual  convolutional neural networks for low-level vision. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3070-3079).

[2] Kim S Y, Oh J, Kim M. Deep SR-ITM: Joint Learning of Super-resolution and Inverse Tone-Mapping for 4K UHD HDR Applications[J]. arXiv preprint arXiv:1904.11176, 2019.

[3] Fritsche M, Gu S, Timofte R. Frequency Separation for Real-World Super-Resolution[J]. arXiv preprint arXiv:1911.07850, 2019.


DualCNN

概述:總的來說就是將structuredetails分開訓練,在最後整合。

主要的特點:在於由S,D,以及SD相加重構除的最終結果與實際標籤之間的loss,總的來說就是在loss函數上做出了一些創新。

                                                            


Deep SR-ITM

概述:聯合super-resolutionSR)和inverse tone-mappingITM),恢復高頻細節for SR, 恢復局部對比度for ITM

Hard

1、LR圖像因爲分辨率降低高頻細節會丟失;

2、在SDR圖像中,與HDR圖像相比,對比度和局部細節的局部變化會隨着信號範圍(幅值)的減小而丟失。

主要目標是恢復細節和對比度,增加空間分辨率和信號幅值。

顏色色域必須從BT.709擴展到BT.2020,每位深度從8 bits/pixel增加至10 bits/pixel這裏似乎是存在的,因爲在之前的重建圖像中,重建圖像亮度是與GT相比是暗一些。

                                            

                                   渲染處理管道的比較。SDRHDR視頻格式之間的(a)線性域,(b)像素域預測方法

                     


DSGAN

DSGAN在小規模按比例縮小的圖像中引入自然圖像特徵。可以在HR圖像上以無監督的方式對其進行訓練,從而生成具有與原始圖像相同特徵的LR圖像。提高了其在現實世界圖像上的性能。此外,將低圖像頻率和高圖像頻率分開,並在訓練期間對其進行不同的處理。由於低頻過下采樣操作得以保留,僅對抗訓練即可修改高頻

                  

可視化的結構下采樣設置。B爲雙三次降階方法,紫色區域爲高、低通濾波器。紅色三角形表示損失函數,橙色區域表示神經網絡。

引入自然圖像特徵,將低頻和高頻分開低頻通過下采樣操作得以保留。

重點:Loss

顏色損失:迫使網絡保持的原始圖像低頻和一個敵對損失,使產生的高頻看起來更像源圖像。

感知損失:將輸出推向看起來類似於輸入圖像解決辦法。

另一方面,諸如色彩之類的低圖像頻率被保留到一定程度,這取決於縮小因子。通過將對抗損失限制爲高頻,我們大大降低了任務的複雜性。這有助於鑑別器將注意力集中在相關的圖像特徵上,而使其他特徵保持不變。

                                            

我們將多個損失函數合併到訓練模型中。生成器損失包括三種不同的損失:顏色損失I_(col,d),感知損失I_(per,d)和紋理損失I_(tex,d),這是一種對抗性損失。

色彩損失集中在圖像的低頻上。由於我們不想改變x_b低頻率,我們對這些頻率施加L_1損失以使它們接近輸入。

                                             


 

 

 

發佈了102 篇原創文章 · 獲贊 144 · 訪問量 6萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章