1 簡介
利用神經網絡可以從文本生成圖片，即將文本的語義轉化爲圖片; 也可以從圖片生成文本，即生成的文本描述圖片中的內容，例如一幅圖片中有一直小鳥落在枝頭。最後由圖片生產的文本就可以能可愛的綠色小鳥落於枝頭。在計算廣告中這種文本和圖片之間互相生成的過程非常有用，如果可以在工業界有所突破，他們在廣告創意的製作中將會發揮巨大作用，例如選定一個創意標題，立刻得到了創意圖片，當製作完成了創意圖片時也立刻得到了創意標題。
2 對抗網絡(DCGAN)
２.１ 原理
生成過程
輸入的是高斯分佈的數據，最終生成圖片，相等於卷積網絡的逆過程，如下圖
圖1 生成網絡對抗學習
將真實圖片和生成網絡產生的圖片當成正，負樣本，同時送入一個卷積網絡，訓練卷積網絡，然後再將真實圖片當成負樣本，輸入卷積網絡對抗學習，達到調節生成網絡的目的，如下圖
圖2 對抗學習網絡
主要參考這篇文章
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks(DCGAN)
2.2 應用
生成模型的應用
通過一個微調輸入生成不同風格的圖像，如下圖，只要微調輸入高斯分佈數據就可以得到不同的風格，顏色的漫畫
圖3 生成模型的應用判別模型的應用
可以利用已經學習好的判別模型對圖片進行特徵抽取，詳見DCGAN參考文章。下圖是從判別模型抽取圖片特徵然後分類的效果對比
圖4 判別模型抽取圖片特徵分類效果對比
3 DCGAN在Text2Image上的應用
３.１ 意義
圖片與文本之間互相生成在廣告創意製作上有非常重要的意義，可以得到炫酷的效果，見下圖
圖5 圖片和文本之間互相生成在廣告創意上的應用
３.２ Text2Image
文本生成圖片的網絡結構如下
圖6 Text2Image網絡結構
３.3 生成過程
生成過程與原生的DCGAN複雜，如下圖
圖7 Text2Image訓練過程
3.4 示例
圖8 由文本生成圖片效果對比圖
圖9 通過修改同一句文本里的部分詞語，生成不同的顏色圖片
參考文獻
- Generative Adversarial Text to Image Synthesis
- Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks(DCGAN)
- Generative Adversarial Networks
- Conditional Generative Adversarial Nets
- Emerging Topics in Learning from Noisy and Missing Data: Zero Shot Learning
