生成對抗網絡(GAN)的變體pix2pix思想

1.概述

pix2pix 是對抗生成網絡的一種變體,它的結構類似於CGAN,但又有別於CGAN。先來說一下它能做哪些事情,顧名思義就是將一張圖片轉成另一張圖片(千萬不要理解成像素變像素啊),或者說將一個場景轉換成另一場景。pix2pix 能做的事情有很多,比如說將素描畫輪廓轉換成圖片,將黑夜場景轉換成白天場景,自動上色,超分辨率等等。具體的可以在pix2pix的在線演示體驗。下面列幾個應用例子。
在這裏插入圖片描述
在這裏插入圖片描述
也可以按照自己的意願直接畫圖,然後生成圖片,先點擊圖片中的clear, 然後自己畫圖, 點擊process 稍等片刻就能生成對應得實物圖。

2.理解pix2pix

還是通過該模型的兩個輸入網絡來直觀理解pix2pix.
pix2pix 同樣是由兩個網路組成,生成網絡G, 判別網絡D, 假設我們現在要將A類型的圖片轉換成B類型的圖片,兩個網絡的輸入輸出分別是:
G: 輸入圖片a(A類型), 輸出生成的圖片G(a)
D: 輸入圖片b, 和一個A類型的圖片a, 在a和b項對應得條件下,判斷b圖片是否是真正的B類型的圖片。
要記着D的最終目的就是判斷生成的圖片是否是B類型的圖片(前提是a, b是對應着的,比如畫一個男生的素描輪廓(a), 得到一個男生的實物圖(B),這就是對應的含義)。
下面是pix2pix 結構圖。
在這裏插入圖片描述
先寫這麼多,希望大家能對pix2pix有個直觀的理解,具體的細節請參考原論文

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章