本週論文分享一篇關於圖像到圖像轉換的文章。圖像到圖像轉換任務的目的是希望學習到不同域之間的映射，以完成域之間的轉換。比如灰度圖--> 彩色圖，低分辨圖--> 高分辨圖等。這類任務存在兩個挑戰：
一、對齊的訓練數據少且難獲得，如對應的白天與黑夜場景；
二、這種映射往往是多樣的，即存在一對多的情況。
這篇文章提出了一種解耦的特徵表示框架來解決這個問題，具體是將圖像映射到兩類空間中，一個是域不變的content空間，一個是域相關的attribute空間。生成器在生成圖片時會同時考慮content 特徵和attribute 特徵。域相關的attribute空間目的是建模一個域特有的特徵，域不變的content空間目的是得到不同域之間共有的特徵。
Disentangled Representation for Image to Image Translation
首先來看下整個訓練框架，我們的目標是使用不對齊的數據學習到一對多的映射X -- > Y。如下圖所示，整個框架由content編碼器Ec，attribute編碼器Ea，生成器G，域判別器Ldomain和content判別器Lcontent組成。以X域爲例，整個計算過程是：
首先content編碼器：
將圖像映射到共享的域不變content空間，attribute編碼器：
將圖像映射到域相關的attribute空間，生成器：
基於content特徵和attribute特徵生成圖像。域判別器Dx需要去判別X域中的真實圖像和生成圖像，content判別器Dc需要去判別兩個域的content特徵。
Disentangle Content and Attribute Representations
那麼如何得到解耦的兩類特徵，即使得content編碼器將不同域共有的特徵編碼到同一個空間C中，而attribute編碼器分別編碼域相關的特徵。爲了實現這個目的，採用了兩種策略，共享權值和基於content的判別器。共享權值具體是共享content編碼器的最後一層和生成器的第一層，即在high-level feature的層面共享。但是這種共享權值並不能保證同樣的content特徵來自兩個域中的相同信息。因此在共享權值基礎上，還需要加上content的判別器，這個判別器的目的是區別兩個域的content特徵，但另一方便，content編碼器需要學習生成不能被判別器識別的特徵。
Cross-cycle Consistency Loss
有了解耦的表達，那麼可以通過結合任意一張圖像的的content特徵和目標域的attribute特徵生成圖像。基於這個性質作者提出了一個稱爲Cross-cycle Consistency Loss的損失函數來進行循環重建，使得可以使用非對齊的數據進行訓練，大體上說就是使得X在經過兩個變換後仍然爲X，具體的過程如下：
Forward translation：給定兩張不相關的圖像x,y，使用content編碼器和attribute編碼器分別映射到content空間和attribute空間，然後通過交換attribute特徵來生成圖像u, v。
Backward translation：然後將u, v 也分別映射到content空間和attribute空間，同樣的交換attribute特徵得到重構的x,y。
經過上述兩個轉換過程，應該重構出x, y, 即：
Other Loss Functions
除了上述兩個重要的損失函數，同時使用了其他的一些損失函數來保障網絡的訓練。
Domain adversarial loss：域判別器用來判別真實圖像和生成圖像，使得生成器生成足夠真實的圖像。
Self-reconstruction loss：除了cross-cycle reconstruction，還需要保證在同一個域中，使用content特徵和attribute特徵能夠解碼回原圖。
KL loss：主要是爲了在測試時能夠在attribute空間進行隨機採樣，因此對attribute空間加了個N(0,1)的正則約束。
Latent regression loss：保證生成的圖像和隱空間是可逆的。
實驗
在生成圖像時有兩種方式，一種是在attribute空間進行隨機採樣來生成多樣的圖像，另外一種是從目標域中提取attribute特徵來生成圖像，兩種方式得到的生成圖分別如下。
總結
本文針對不同圖像域之間轉換的問題，提出了對域進行解耦表達的框架，通過content的對抗損失來提取域共有的特徵，利用解耦的性質提出了cross-cycle consistency loss 來保證輸入和重構輸出的一致性，使得訓練不依賴於對齊數據。
歡迎關注我們的微信公衆號：極驗（geetest_jy ） 獲得更多學習信息！
參考鏈接
論文鏈接：https://arxiv.org/abs/1808.00948
代碼地址：https://github.com/HsinYingLee/DRIT