SPADE 閱讀筆記
@inproceedings{RN55,
author = {Park, Taesung and Liu, Ming-Yu and Wang, Ting-Chun and Zhu, Jun-Yan},
title = {Semantic image synthesis with spatially-adaptive normalization},
booktitle = {Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
pages = {2337-2346},
type = {Conference Proceedings}
}
Contribution
作者提出了 spatially-adaptive normalization（SPADE），用於在 semantic image synthesis 中更好地提供語義信息，而且 SPADE 也支持 multi-modal 和 style-guided image synthesis。
Important Points
- 作者認爲以前論文中的normalization不是最優的，會 wash away 語義信息，所以提出了SPADE，用semantic map來更好地指導圖片合成；
Motivation
Unconditional normalization layers 比如 BN、IN 沒有利用外部數據進行歸一化，Conditional normalization layers 比如 CBN、AdaIN 雖然利用了外部數據，但 affine parameters 是控制圖片整體 style，沒有 spatial 信息，所以對於semantic image synthesis 效果也不是很好。所以 SPADE 通過一個 spatially-varying affine transformation更好地指導圖片合成。
Questions/Comments
- 和一些博客裏寫得類似，感覺SPADE像是一個attention模塊和BN的組合；
- PSGAN中的AMM模塊和SPADE類似，不過還用了其他attention機制來更好地修改第一次得到的spatially-varying affine parameters。