對於style-transfer客觀評價標準的思考

對於客觀評價標準,目前我主要了解可以從以下幾方面入手。

1、轉換質量

轉換質量又可以用轉換程度與轉換的多樣性來衡量。

對於轉換程度評價,可以通過預訓練ResNet [1],GoogleNet等具有較高分類能力的深層網絡模型,根據目標域標籤對轉換結果進行分類,分類準確率越高也就說明了從源域到目標域的轉換越成功。因爲style translation本身是一個域與域之間的轉換,所以使用分類器對轉換結果分類不失爲一個良好的質量評價標準,但是存在一定侷限性,如無法衡量轉換的程度、會受到數據集的限制等。

考慮到轉換結果不能趨向於單一的風格,可以利用生成樣本的顏色或梯度直方圖來衡量多樣性,如 [2];也可以利用Inception Scores [3]來衡量生成樣本的多樣性,我對已投論文的結果也進行了測試,結果是符合預期的。

2、不相關區域的保持

在對特定區域(屬性)進行轉換時,我們不希望不相關區域(屬性)也跟着轉換,丟失原來的身份信息。可以使用MS-SSIM [4]來對不相關區域的保持程度(結構、顏色)進行評價。ResidualGAN中使用了ERT [5]算法通過轉換前後特徵點的對比來驗證不相關區域的保持;   總體而言,很難去衡量源域身份特徵、結構特徵是否改變,而且受數據及限制語義相關性又往往不能避免,所以確實沒有一個良好的評價方式,往往是一言堂。

3、轉換速度

因爲style transfer [6]的提出中一張圖片的轉換往往耗時較長,所以轉換的速度成了一個評價標準,但因爲現在基本上的實現思路都是預訓練一個模型,然後再生成圖片,速度上都會比較快,所以我認爲不需要過分關注。

4、視覺效果

style translation涉及到很多視覺上的感受,人與人之間的感受本身也有差距,目前沒有合適的客觀解決方案,也只能藉助於AMT這樣的衆包平臺去進行評估。

 

[1]Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun

Deep Residual Learning for Image Recognition.

[2]Dmitry Ulyanov, Vadim Lebedev, Andrea, Victor Lempitsky

Texture Networks: Feed-forward Synthesis of Textures and Stylized Images

[3]Tim Salimans, Ian J. Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, Xi Chen

Improved Techniques for Training GANs.

[4]Zhou Wang ; A.C. Bovik ; H.R. Sheikh ; E.P. Simoncelli

Image quality assessment: from error visibility to structural similarity

[5]Vahid Kazemi, Josephine Sullivan

One Millisecond Face Alignment with an Ensemble of Regression Trees.

[6]Leon A. Gatys, Alexander S. Ecker, Matthias Bethge

A Neural Algorithm of Artistic Style.

[7]Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros

Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks.

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章