Paper：https://arxiv.org/pdf/2002.12489.pdf
Code：沒找到
摘要：跨模態ReID(cm-ReID)技術是智能視頻分析的關鍵技術之一。現有的研究主要集中在通過將不同模態的特徵嵌入到同一個特徵空間中和降低特徵區分度的上界來學習模態共享特徵表示。在本文中，我們提出一種新的跨模態共享-特定特徵轉移算法(cm-SSFT)來解決上述方法的侷限性，以探索模態共享信息和模態特定特徵的潛力。我們根據共享特徵對不同模態樣本的相似性進行建模，然後在模態之間傳遞共享特徵，在不同模態間傳遞特定特徵。我們還提出了一種互補特徵學習策略，包括模態自適應、方案對抗學習和重構增強，分別學習每種模態共享特徵和特徵特徵的辨別性和互補性。cm-SSFT算法可以進行端到端的方式進行訓練。通過實驗證明了cm-SSFT算法的有效性。
知識點解析：
Cross-modality ReID：RGB圖像和紅外圖像的交叉重識別。
以往的解決方法可以分爲兩類。1，模態共享特徵學習：共享特徵學習的目的是將任何模態的圖像嵌入到相同的特徵空間中， 將特定模態信息(如，RGB顏色；)的具體信息作爲冗餘信息剔除。2，模態特定特徵補充：但是模態特定信息對辨別行人很重要。因此，模態特定特徵作爲補充方法試圖彌補模態之間的特定信息的缺失。但是行人在紅外模態下可以對應RGB下不同顏色的衣服。在本文中，我們通過提出一種新的跨模態共享-特定特徵轉移算法來解決上述侷限性，以探索模態共享信息和模態特定特徵提高ReID性能的潛力。算法模擬模態內樣本和模態間樣本 之間的相似性，並利用相似性傳遞信息。每個樣本接受其模態間和模態內 近鄰的信息，同時共享自己的特徵信息。該方案可以彌補特定信息的不足，增強共享特徵的魯棒性，從而提高整體的特徵的表示能力。模態共享特徵學習和cm-SSFT算法對比如下圖：
流程爲：1， 輸入圖像首先被輸入到兩個分支的特徵提取器中，以獲得共享和特定的特徵。2， 然後利用共享-特定的傳輸網絡(SSTN)對模態內部和模態之間的相似性進行建模。在不同的模態之間傳播共享和特定的特徵，以彌補缺少的模態特定信息並增強模態共享特徵。3， 在特徵提取器上增加了兩個方案對抗塊和一個模態自適應塊，以獲得辨別性和補充性的共享和特定的特徵。整個算法以端到端的方式進行訓練。
Two-stream feature extractor：兩分支特徵提取器包括模態共享分支和模態特定分支。爲了得到共享特徵和特定特徵需將各模態圖像分別輸入進相應的分支。其中爲了得到更好的性能，共享特徵分支和特定特徵分支在淺卷積層分離。具體公式如下：
爲了保證這兩類特徵都是具有辨別性的，我們分別在每一個特徵後添加分類損失， 具體公式如下：
此外，我們在特定特徵分支上添加單一模態三元組損失和在共享特徵分支上添加交叉三元組損失以提高識別能力，具體公式如下：
Shared-Specific Transfer Network：對跨模態檢索，我們需要將特定的特徵從一種模態轉移到另一種模態爲了補償零向量。SSTN首先根據兩種特徵(共享和特定)對樣本的相似性進行建模，然後利用關聯模型傳播模態內和模態間的信息。最後，特徵學習階段通過分類和三元組損失來指導整個過程的優化。a）Affinity modeling：我們使用共享特徵來計算模態間圖像對的相似性和特定特徵來計算模態內的圖像對的相似性，計算公式如下：
其中，
b）Shared and specific information propagation：上述得到的相似性矩陣表示樣本的相似性。SSTN利用此矩陣傳播特徵。在此之前，RGB和紅外模態下的特徵在行維度進行連接，每一行儲存一個樣本特徵：
根據GCN方法，我們得到關聯矩陣A的對角矩陣D，其中
根據常規特徵的學習原理，我們將分類損失用於特徵學習：
除此之外，通過在轉移特徵上應用三元組損失來提高識別能力。由於轉移矩陣包括共享特徵和兩種模態的特定特徵，我們添加跨模態三元組損失和單模態三元組損失：
Shared and specific complementary learning：SSTN探索了一種利用共享-特定 特徵來生成更具有辨別力的特徵表示的新方法。但是，共享和特定特徵之間的信息重疊仍然會影響整體的性能。首先，如果共享特徵包含大量某一模態的信息，會影響公式(6)中相似矩陣的可靠性，導致特徵轉移不準確。其次，如果特定特徵和共享特徵高度相關，那麼特定特徵只能對共享特徵提供很少的補充。爲了緩解這兩個問題，我們利用自適應模態從共享特徵中過慮出模態的特定特徵的信息。而且還提出了針對互補模態特徵學習的方案對抗策略和重構增強。a）：Modality adaptation for shared features：爲了將共享特徵純化爲與模態無關的特徵，我們利用三層全連接的模態鑑別器對每個共享特徵進行分類：
在鑑別階段，模態鑑別器盡力去對共享特徵進行分類；而在生成階段，主幹網絡生成特徵欺騙鑑別器。
b）Project adversarial learning for specific features：爲了使特定特徵和共享特徵不相關，我們提出了方案對抗策略。在訓練階段，我們將特定特徵投射到相同樣本的共享特徵上。利用投影誤差作爲損失函數：
同樣的，在辨別階段和生成階段同樣進行相同的操作。
c）Reconstruction enhancement：模態自適應和方案對抗學習確保共享和特定的特徵之間不包含相互關聯的信息。爲了增強這兩個特徵的互補性，我們在每個模態的特徵之後使用一個解碼網絡來重建輸入。我們將共享特徵和特定特徵連接起來，並給他們輸入到解碼器中：
利用L2損失來評價重建圖像的質量。
Optimization：論文中涉及很多很多損失，具體參照論文。其中在訓練過程中，各個模態的圖像數量要求一致。在測試階段，我們利用兩分支網絡從RGB和IF數據的解耦特徵，使用SSTN來傳輸模態共享特徵和模態特定特徵，所有的特徵都是L2歸一化的，並使用歐式距離來計算最終的性能。
結論：效果非常好，提升將近20個點。值得學習。但是一通讀下來覺得有點複雜，融合了太多的東西。
周郎有話說：本人剛接觸交叉模態的ReID論文，第一篇論文，有太多不懂的地方，需要提升。