[Paper Note] Meta-SR A Magnification-Arbitrary Network for Super-Resolution

Summary

這篇文章的創新點在於提出了Meta-Upscale Module這個模塊，實現了任意尺寸的放大（當然這篇論文做的主要是x1-x4的倍數），核心思想是HR和LR圖片之間實際上是一個縮放關係，有一個縮放因子r。LR的像素通過一組濾波器權重可以映射到SR上，所以找到SR圖片和LR圖片的像素映射，訓練出濾波器權重。
$\mathbf{I}^{S R}(i, j)=\Phi\left(\mathbf{F}^{L R}\left(i^{\prime}, j^{\prime}\right), \mathbf{w}(i, j)\right) \tag{1}$
因爲r的大小可以認爲任意選擇，也就實現了任意尺度的縮放。

Architecture

網絡實際上分位兩部分：特徵提取+放大。
特徵提取如圖，堆疊三個RDB模塊。
第二部分則是重點，這個模塊可以看作是LR圖像到HR圖像的映射模塊。

Meta-Upscale 模塊有三個重要的函數，即 Location Projection、Weight Prediction、Feature Mapping。

• Location Projection 把像素投射到 LR 圖像上，即找到與像素（i, j）對應的像素（i′, j′)。作者認爲像素（i, j）的值是由像素（i′, j′）的特徵所決定.
  $\left(i^{\prime}, j^{\prime}\right)=T(i, j)=\left(\left\lfloor\frac{i}{r}\right\rfloor,\left\lfloor\frac{j}{r}\right\rfloor\right) \tag{2}$
• WeightPrediction 模塊爲 SR 圖像上每個像素預測 對應濾波器的權重
  $\mathbf{W}(i, j)=\varphi\left(\mathbf{v}_{i j} ; \theta\right) \tag{3}$
  其中 $v_{ij}$ 是與$i, j$相關聯的向量，也是權重預測網絡的輸
  $\mathbf{v}_{i j}=\left(\frac{i}{r}-\left\lfloor\frac{i}{r}\right\rfloor, \frac{j}{r}-\left\lfloor\frac{j}{r}\right\rfloor\right)\tag{4}$
  $\mathbf{v}_{i j}=\left(\frac{i}{r}-\left\lfloor\frac{i}{r}\right\rfloor, \frac{j}{r}-\left\lfloor\frac{j}{r}\right\rfloor, \frac{1}{r}\right)\tag{5}$
• Feature Mapping 函數利用預測得到的權重將 LR 圖像的特徵映射回 SR 圖像空間以計算其像素值。
  $\Phi\left(\mathbf{F}^{L R}\left(i^{\prime}, j^{\prime}\right), \mathbf{W}(i, j)\right)=\mathbf{F}^{L R}\left(i^{\prime}, j^{\prime}\right) \mathbf{W}(i, j)\tag{6}$