Deep Back-Projection Networks For Super-Resolution
原文用網盤分享：https://pan.baidu.com/s/1R_lv97JaPikNgJa6TKcjkQ， 提取碼：g4u5
代碼：https://github.com/alterzero/DBPN-caffe
本文是2018CVPR中一篇關於圖像超分辨的論文，同時也是NTIRE2018在經典的bicubic 8倍放大賽道上的冠軍。
主要思想
近幾年，普遍用來進行圖像超分辨率的網絡結構主要有三種。
第一種：Predefined upsampling。預定義上採樣，對低分辨率圖像先進行插值操作，例如雙三次插值，使得圖像尺寸與目標圖像尺寸一致，這是爲了在低分辨率和高分辨率圖像之間進行較好的非線性映射。但是，該操作可能會引入新的噪聲，並且計算量較大。
第二種：Single upsampling。在最後一層進行上採用，直接對低分辨率圖像做卷積操作，不進行插值操作，這樣減少了計算量。但是無法學習到複雜的映射。
第三種：Progressive upsampling。漸進式上採樣，類似於單個上採樣的堆疊。本文提出了一種迭代上採樣和下采樣的網絡結構，有點類似於傳統的迭代算法。直觀地看，是爲了能夠更深地挖掘低分辨率和高分辨率圖像直接的相互依賴關係。
本文提出的深度反投影網絡中有兩個重要的模塊：上投影單元和下投影單元。
兩種投影單元的網絡和數學描述如下所示 。
上投影單元中，將低分辨率圖像先進行反捲積，上採樣得到高分辨率特徵圖，將該高分辨率圖進行卷積，下采樣得到一個低分辨率特徵圖，再將得到的低分辨率特徵圖和一開始的低分辨率圖像進行殘差運算，把得到的殘差值加入上採樣層，進行反捲積產生高分辨率特徵圖，將此刻生成的高分辨率特徵圖和起初得到的高分辨率特徵圖相加得到最終的高分辨率特徵圖。
下采樣單元的過程類比上投影單元。這些投影單元可以理解爲自我糾正的過程，將投影誤差提供給採樣層，這樣不斷地迭代，來產生更優的解。
本文在去年提出的Dense網絡的基礎上，擴展了所提出的深度反投影網絡。由於Dense網絡被證明能緩解梯度消失問題，並且可以產生改進的特徵、鼓勵特徵重用，本文提出了D-DBPN。
與Dense網絡的不同的是，本文沒有采用丟棄法和批數據規範，而是採用1×1卷積層作爲特徵池化和尺度縮小，這是爲了避免丟失圖像中的有用信息。稠密的投影單元如下所示。
在D-DBPN中，每個單元的輸入是與之前所有單元輸出的級聯。如稠密上投影單元，將之前每個下投影單元產生的低分辨率特徵圖級聯，作爲進入稠密的上投影單元的輸入。在進入投影單元之前，使用1×1卷積層來降低通道數。
整個D-DBPN的架構主要分爲三個部分：初始特徵提取，反向投影階段和重構階段。如下圖所示。
初始特徵提取階段採用兩個卷積層，先將低分辨率圖像做最初的3×3卷積操作，接着進行1×1卷積操作。然後進入反向投影階段，如果有T個階段，則說明有T個up projection單元和T-1個down projection單元，並且每個單元中有三層。之後，將每個上投影單元生成的高分辨率特徵圖進行級聯，用3×3卷積來重構出高分辨率圖像。
本文的實驗用caffe搭建，Matlab R2017a，在NVIDIA TITAN X GPUs運行，訓練集採用了DIV2K，Flickr和ImageNet，和之前的291image相比大很多。
本文對於不同尺度的超分辨任務，設置的卷積核參數也不一樣：
對於2×的任務，kernel=6* 6，stride= 2，padding =2；
對於4×的任務，kernel=8* 8，stride =4，padding =2；
對於8×的任務，kernel=12*12，stride =8，padding= 2。
例如，爲了處理經典的雙三次插值下采樣SR問題，在圖像放大8倍時，DBPN在投影單元中使用12×12的卷積層，八個步長和兩個填補項，並且採用了19個投影單元（10個向上和9個向下投影單元）來生成 SR結果。
實驗結果
從視覺效果和數值分析來看，放大4倍時，雖然我們的D-DBPN和之前的EDSR的PSNR和SSIM相比相差不大，甚至有低一點的，但從視覺看，我們的方法能更好重建出原圖效果，更加接近原圖特徵。
在放大8倍時，無論從視覺效果還是數值表現來看，我們的方法都取得了較好的結果。即使PSNR和SSIM與之前的值相差不是很大，但從視覺上可以看出，圖像重建效果很接近原圖。
總結
DBPN主要思想認爲以往的CNN方法中，從LR到SR是一個完全上採用的過程，這過程中沒有完全處理好LR到SR的與HR之間的差異。在高倍放大下更爲顯著。所以DBPN提供了一個up-down的投影單元，希望通過迭代上下交替採樣的糾正反饋機制，恢復更好的細節特徵。論文中的結果以及本次NTIRE2018的結果可以看出DBPN在高倍放大下比LapSR、EDSR擁有更好的效果。