近期必讀的6篇 NeurIPS 2019 的零樣本學習(Zero-Shot Learning)論文
PS:轉發自“專知”公衆號
【導讀】NeurIPS 是全球最受矚目的AI、機器學習頂級學術會議之一，每年全球的人工智能愛好者和科學家都會在這裏聚集，發佈最新研究。NIPS 2019大會已經在12月8日-14日在加拿大溫哥華舉行。這次專知小編髮現零樣本學習(Zero-Shot Learning, ZSL)在今年的NeurIPS出現了好多篇，也突出其近期的火熱程度， 爲此，專知小編整理了NIPS 2019零樣本學習(Zero-Shot Learning)相關的論文供大家學習收藏—零樣本知識遷移、Transductive ZSL、多注意力定位、ZSL語義分割、對偶對抗語義一致網絡。
1. Zero-shot Knowledge Transfer via Adversarial Belief Matching
作者：Paul Micaelli and Amos Storkey
摘要：在現代深度學習應用中，將知識從一個大的teacher network遷移到一個小的student network中是一個很受歡迎的任務。然而，由於數據集的規模越來越大，隱私法規也越來越嚴格，越來越多的人無法訪問用於訓練teacher network的數據。我們提出一種新方法，訓練student network在不使用任何數據或元數據的情況下，與teacher network的預測相匹配。我們通過訓練一個對抗生成器來搜索student與teacher匹配不佳的圖片，然後使用它們來訓練student，從而達到這個目的。我們得到的student在SVHN這樣的簡單數據集上與teacher非常接近，而在CIFAR10上，儘管沒有使用數據，我們在few-shot distillation (100 images per class)的技術水平上進行了改進。最後，我們還提出了一種度量標準，來量化teacher與student在決策邊界附近的信念匹配程度，並觀察到我們的zero-shot student與teacher之間的匹配程度顯著高於用真實數據提取的student與teacher之間的匹配程度。我們的代碼鏈接如下:
https://github.com/polo5/ZeroShotKnowledgeTransfer。
網址：
https://papers.nips.cc/paper/9151-zero-shot-knowledge-transfer-via-adversarial-belief-matching
2. Transductive Zero-Shot Learning with Visual Structure Constraint
作者：Ziyu Wan, Dongdong Chen, Yan Li, Xingguang Yan, Junge Zhang, Yizhou Yu and Jing Liao
摘要：爲了識別未知類的目標，現有的零樣本學習(Zero-Shot Learning, ZSL)方法大多是先根據源可見類的數據，在公共語義空間和視覺空間之間學習一個相容的投影函數，然後直接應用於目標未知類。然而，在實際場景中，源域和目標域之間的數據分佈可能不匹配，從而導致衆所周知的domain shift問題。基於觀察到的測試實例的視覺特徵可以被分割成不同的簇，我們針對轉導ZSL的類中心提出了一種新的視覺結構約束，以提高投影函數的通用性（即緩解上述域移位問題）。具體來說，採用了三種不同的策略 (symmetric Chamfer-distance, Bipartite matching distance, 和Wasserstein distance) 來對齊測試實例的投影不可見的語義中心和可視集羣中心。我們還提出了一種新的訓練策略，以處理測試數據集中存在大量不相關圖像的實際情況，這在以前的方法中是沒有考慮到的。在許多廣泛使用的數據集上進行的實驗表明，我們所提出的視覺結構約束能夠持續地帶來可觀的性能增益，並取得最先進的結果。我們源代碼在：https://github.com/raywzy/VSC。
網址：
https://papers.nips.cc/paper/9188-transductive-zero-shot-learning-with-visual-structure-constraint
3. Semantic-Guided Multi-Attention Localization for Zero-Shot Learning
作者：Yizhe Zhu, Jianwen Xie, Zhiqiang Tang, Xi Peng and Ahmed Elgammal
摘要：零樣本學習（Zero-shot learning）通過引入類的語義表示，將傳統的目標分類擴展到不可見的類識別。現有的方法主要側重於學習視覺語義嵌入的映射函數，而忽視了學習discriminative視覺特徵的效果。本文研究了discriminative region localization的意義。提出了一種基於語義引導的多注意力定位模型，該模型能自動發現目標中最discriminative的部分，實現零樣本學習，不需要人工標註。我們的模型從整個目標和被檢測部分共同學習協作的全局和局部特徵，根據語義描述對對象進行分類。此外，在嵌入softmax loss和class-center triplet loss的聯合監督下，鼓勵模型學習具有高類間離散性和類內緊湊性的特徵。通過對三種廣泛使用的零樣本學習基準的綜合實驗，我們證明了multi-attention localization的有效性，我們提出的方法在很大程度上改進了最先進的結果。
網址：
https://papers.nips.cc/paper/9632-semantic-guided-multi-attention-localization-for-zero-shot-learning
4. Zero-shot Learning via Simultaneous Generating and Learning
作者：Hyeonwoo Yu and Beomhee Lee
摘要：爲了克服不可見類訓練數據的不足，傳統的零樣本學習方法主要在可見數據點上訓練模型，並利用可見類和不可見類的語義描述。在探索類與類之間關係的基礎上，我們提出了一個深度生成模型，爲模型提供了可見類與不可見類的經驗。該方法基於類特定多模態先驗的變分自編碼器，學習可見類和不可見類的條件分佈。爲了避免使用不可見類的示例，我們將不存在的數據視爲缺失的示例。也就是說，我們的網絡目標是通過迭代地遵循生成和學習策略來尋找最優的不可見數據點和模型參數。由於我們得到了可見類和不可見類的條件生成模型，因此無需任何現成的分類器就可以直接進行分類和生成。在實驗結果中，我們證明了所提出的生成和學習策略使模型取得了優於僅在可見類上訓練的結果，也優於幾種最先進的方法。
網址：
https://papers.nips.cc/paper/8300-zero-shot-learning-via-simultaneous-generating-and-learning
5. Zero-Shot Semantic Segmentation
作者：Maxime Bucher, Tuan-Hung VU, Matthieu Cord and Patrick Pérez
摘要：語義分割模型在擴展到大量對象類別的能力上受到限制。在本文中，我們介紹了零樣本語義分割的新任務：用零訓練實例學習從未見過的對象類別的像素級分類器。爲此，我們提出了一個新的架構，ZS3Net，結合了一個深度的視覺分割模型和一種從語義詞嵌入生成視覺表示的方法。通過這種方式，ZS3Net解決了在測試時可見和不可見的類別都面臨的像素分類任務(所謂的“generalized” zero-shot 分類)。通過依賴於不可見類的像素的自動僞標記的自訓練步驟，可以進一步提高性能。在兩個標準的細分數據集，Pascal-VOC和Pascal-Context，我們提出了zero-shot基準和設置競爭的baseline。對於Pascal-Context數據集中的複雜場景，我們通過使用圖形-上下文編碼來擴展我們的方法，以充分利用來自類分割圖的空間上下文先驗。
網址：
https://papers.nips.cc/paper/8338-zero-shot-semantic-segmentation
6. Dual Adversarial Semantics-Consistent Network for Generalized Zero-Shot Learning
作者：Jian Ni, Shanghang Zhang and Haiyong Xie
摘要：廣義零樣本學習(Generalized zero-shot learning，GZSL)是一類具有挑戰性的視覺和知識遷移問題，在測試過程中，既有看得見的類，也有看不見的類。現有的GZSL方法要麼在嵌入階段遭遇語義丟失，拋棄有區別的信息，要麼不能保證視覺語義交互。爲了解決這些侷限性，我們提出了一個Dual Adversarial Semantics-Consistent Network (簡稱DASCN)，它在一個統一的GZSL框架中學習原始的和對偶的生成的對抗網絡(GANs)。在DASCN中，原始的GAN學習綜合類間的區別和語義——從可見/不可見類的語義表示和對偶GAN重構的語義表示中保留視覺特徵。對偶GAN通過語義一致的對抗性學習，使合成的視覺特徵能夠很好地表示先驗語義知識。據我們所知，這是針對GZSL採用新穎的Dual-GAN機制的第一個工作。大量的實驗表明，我們的方法比最先進的方法取得了顯著的改進。
網址：
https://papers.nips.cc/paper/8846-dual-adversarial-semantics-consistent-network-for-generalized-zero-shot-learning