原文鏈接：https://mp.weixin.qq
遷移/小樣本/半監督/無監督學習
用於任務感知的持續學習的條件通道門控網絡
論文地址：https://arxiv.org/abs/2004.00070
在訓練示例包含一系列子任務的情況下，需要基於梯度優化的深度網絡會遭受災難性的遺忘，從而丟失先前任務中學習到的信息。持續學習試圖通過允許模型保護和保留所獲取的信息，同時仍然能夠從新任務中提取新信息來解決這一問題。與LSTM / GRU中的門控機制相似，作者提出了一種通道門控模塊，其中僅根據當前任務選擇特徵圖的子集。這樣，能保護重要的filters以避免模型在先前學習的任務上的性能損失，此外，通過選擇一組有限的要更新kernel，模型仍將具有學習新任務的能力。
本文還引進了任務分類器，以克服在測試時瞭解模型要應用於哪個任務的需求，訓練該任務分類器以預測在訓練時的任務，並選擇將哪些CNN特徵傳遞給全連接層用於分類。但是，任務分類器也容易遭受災難性的遺忘問題，因此作者建議使用情景記憶和生成記憶來訓練它，以避免這種情況發生。
PolarMask：具有極座標表示的單鏡頭實例分割
論文地址：https://arxiv.org/abs/1909.13226
PolarMask建議使用極座標表示實例分割任務中每個檢測到的目標掩碼。極座標表示與笛卡爾座標表示相比具有許多固有的優點：（1）極座標的原點可以看作是目標的中心。（2）從原點開始，能由距中心的距離和角度確定對象的輪廓。（3）該角度是自然方向的（從0°到360°開始），這使得將這些點連接到整個輪廓非常方便。
該模型基於FCOS：對於給定實例，我們有三個輸出：
1. k個 類上的分類概率（例如在COCO數據集上 k=80），
2. 目標的中心（極中心）
3. 到中心的距離（掩碼迴歸）。本論文建議使用距中心n=36的距離，因此輪廓中兩點之間的角度爲10°。基於這些輸出，可以像使用Mask-RCNN一樣，以單次拍攝的方式輕鬆檢測每個目標的範圍，而無需使用子head網絡對每個檢測到的目標進行像素方向的分割。
通過嵌入自適應與設置到設置的功能進行小樣本（Few-Shot）學習
論文地址：https://arxiv.org/abs/1812.03664
小樣本學習包括學習一個具有N個類、每個類中有K個樣本（即稱爲N-Way，K-shot任務）的性能良好的模型，但是高容量的深層網絡在有限的訓練數據上很容易出現過擬合。許多小樣本學習用的學習方法（例如，原型網絡）是通過在訓練有很多標記實例的情況下從可見類中學習實例嵌入函數來解決此問題的，然後將一個簡單函數應用於具有有限標籤的不可見類中的新實例的嵌入測試時貼上標籤。但是，考慮到學習的嵌入功能對於看不見的類不是最佳的區分，因此學習的嵌入與任務無關。
作者提出使用“set-to-set”功能使實例嵌入適應目標分類任務，從而產生任務特定且具有分辨性的嵌入。爲了產生任務特定的嵌入，作者將執行一個額外的適應步驟，其中嵌入功能將通過set-to-set函數進行轉換，該函數對集合的圖像實例進行上下文式處理，以實現每個條例的強大共適應性。作者測試了許多set-to-set函數，例如BiLSTM，圖卷積網絡和Transformer，並且發現Transformer在這種情況下有效。
邁向可分辨性和多樣性：標籤不足情況下的批量神經核範數最大化
論文地址：https://arxiv.org/abs/2003.12237
如果爲我們提供了一個小的標註集，則由於將決策邊界放置在高密度區域附近，結果導致模糊網絡上深度網絡的性能下降（右下圖）。一種常見的解決方案是熵最小化，但是由熵最小化引起的一個副作用是預測多樣性的降低，其中歧義樣本被歸類爲最主要的類別，即可分辨性增加但多樣性下降。
這篇論文研究了增加可分辨性（輸出高度確定的預測）和增加多樣性（均等地預測所有類別）的方法。通過分析輸出矩陣A∈RB×C （包含一批 B樣例和 C類別） 的秩，作者發現預測的判別性和多樣性可以通過Frobenius範數和 A的秩來衡量，並提出批神經核範數最大化（Batch Nuclear-norm Maximization）將其應用於輸出矩陣 A 以提高我們在標籤數量有限的情況下的性能，例如半監督學習和域自適應學習。