風格遷移論文"Photorealistic Style Transfer via Wavelet Transforms"

基於Whitening and Coloring Transform(WCT)的方法由於其抽象能力強，會出現空間扭曲或者不真實的僞影的情況。作者基於WCT的方法將小波變換嵌入神經網絡中，使特徵能夠保留結構信息以及VGG空間的統計學特性。此外，作者認爲基於WCT$^2$的方法可以提高風格化的時域穩定性。
如上圖所示，作者希望WCT$^2$能夠在不使用後處理方法的情況下重建信號，由於小波信息會帶來很小的信息損失，作者分析了使用小波下采樣和小波上採樣的優點。
此外，作者提出了一種遞進式的風格化方法而不是多級的策略，遞進式的風格化方法比起多級策略好處如下：（1）遞進式的方法只需要在訓練和測試的環節只使用一個decoder，而多級的訓練方法需要在每一個level上都單獨訓練一個decoder，參數不共享，參數量大，訓練困難，測試階段開銷也很大。（2）使用多級的風格化方法會導致僞影在多次encoder-decoder過程中被多次放大，而使用漸進式的方式，其僞影相對而言就少了很多。WCT的論文閱讀筆記：WCT論文閱讀筆記

WCT$^2$需要解決風格化帶來的兩個問題：(1)恢復給定內容圖像的結構信息（2）對圖像進行忠實的風格化操作。小波下采樣和上採樣用於解決問題（1），而遞進式的網絡結構則用於解決問題（2）。
小波變換
Haar小波池化有4個卷積核，由$\{LL^T LH^T HL^T HH^T\}$組成，低通濾波器L和高通濾波器H分別爲$L^T=\frac{1}{\sqrt{2}}[1 \quad 1]$,$H^T=\frac{1}{\sqrt{2}}[-1 \quad 1]$。低通濾波器用於獲得光滑的表面特徵和紋理特徵，而高通濾波器可以從垂直、水平和對角線方向獲得邊緣信息。
Haar小波變換並不是唯一可以對信號進行恢復的方法，選擇Haar小波是因爲這種方法將原始信號分解爲可捕獲不同分量的通道，導致風格化結果更好。
只有低頻特徵LL被傳到下一個編碼器中，高頻信息(HH,HL,LH)被直接送到decoder裏。
漸進式的風格化
在不同的尺度(conv1_X,conv2_X,conv3_X和conv4_X)使用相同的WCT來進行計算。計算量是相同的。
PhotoWCT會因爲max-pooling導致空間信息的損失。
低頻的信息用來獲得平滑的表面和紋理，高頻的信息來檢測邊緣特徵。
通過選擇一個component來控制個性化的風格。
如果不在高頻的組件上使用WCT，那麼邊緣特徵是不會發生改變的。

作者和Split Pooling與Learnable Pooling進行比較。Split Pooling使用固定參數的2x2卷積核，比如[1,0,0,0],[0,1,0,0],[0,0,1,0],[0,0,0,1] 。Split Pooling可以帶來全圖的信息，但是相對於Wavelet Pooling來說細節上損失的較嚴重。Learnable Pooling使用一個步長爲2的卷積核，這種方法即無法保證內容特徵也無法很真實的進行風格遷移。作者認爲是約束過於鬆弛。
結果如下：